Skynet

作者:NetSeek  http://www.linuxtone.org (IT運(yùn)維專家網(wǎng)|集群架構(gòu)|性能調(diào)優(yōu))
歡迎轉(zhuǎn)載,轉(zhuǎn)載時(shí)請務(wù)必以超鏈接形式標(biāo)明文章原始出處和作者信息及本聲明.
首發(fā)時(shí)間: 2008-11-25     更新時(shí)間:2009-1-14

目 錄
一、        Nginx 基礎(chǔ)知識(shí)
二、        Nginx 安裝及調(diào)試
三、        Nginx Rewrite
四、        Nginx Redirect
五、        Nginx 目錄自動(dòng)加斜線:
六、        Nginx Location
七、        Nginx expires
八、        Nginx 防盜鏈
九、        Nginx 訪問控制
十、        Nginx日志處理
十一、     Nginx Cache
十二、     Nginx負(fù)載均衡
十三、       Nginx簡單優(yōu)化      
十四、        如何構(gòu)建高性能的LEMP環(huán)境
十五、        Nginx服務(wù)監(jiān)控
十六、        常見問題與錯(cuò)誤處理.
十七、        相關(guān)資源下載

【前言】：
編寫此技術(shù)指南在于推廣普及NGINX在國內(nèi)的使用，更方便的幫助大家了解和掌握NGINX的一些使用技巧。本指南很多技巧來自于網(wǎng)絡(luò)和工作中或網(wǎng)絡(luò)上朋友們問我的問題.在此對(duì)網(wǎng)絡(luò)上愿意分享的朋友們表示感謝和致意！歡迎大家和我一起豐富本技術(shù)指南提出更好的建議！請朋友們關(guān)注: http://www.linuxtone.org 技術(shù)分享社區(qū)! 互想學(xué)習(xí)共同進(jìn)步!

一、 Nginx 基礎(chǔ)知識(shí)
1、簡介
   Nginx ("engine x") 是一個(gè)高性能的 HTTP 和 反向代理 服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 代理服務(wù)器。 Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 Rambler.ru 站點(diǎn)開發(fā)的，它已經(jīng)在該站點(diǎn)運(yùn)行超過兩年半了。Igor 將源代碼以類BSD許可證的形式發(fā)布。盡管還是測試版，但是，Nginx 已經(jīng)因?yàn)樗姆€(wěn)定性、豐富的功能集、示例配置文件和低系統(tǒng)資源的消耗而聞名了。
更多的請見官方wiki: http://wiki.codemongers.com/

2、 Nginx的優(yōu)點(diǎn)
nginx做為HTTP服務(wù)器，有以下幾項(xiàng)基本特性：
1)        處理靜態(tài)文件，索引文件以及自動(dòng)索引；打開文件描述符緩沖．
2)        無緩存的反向代理加速，簡單的負(fù)載均衡和容錯(cuò)．
3)        FastCGI，簡單的負(fù)載均衡和容錯(cuò)．
4)        模塊化的結(jié)構(gòu)。包括gzipping, byte ranges, chunked responses, 以及 SSI-filter等filter。如果由FastCGI或其它代理服務(wù)器處理單頁中存在的多個(gè)SSI，則這項(xiàng)處理可以并行運(yùn)行，而不需要相互等待。
5)        支持SSL 和 TLS SNI．

Nginx專為性能優(yōu)化而開發(fā)，性能是其最重要的考量, 實(shí)現(xiàn)上非常注重效率 。它支持內(nèi)核Poll模型，能經(jīng)受高負(fù)載的考驗(yàn), 有報(bào)告表明能支持高達(dá) 50,000 個(gè)并發(fā)連接數(shù)。
Nginx具有很高的穩(wěn)定性。其它HTTP服務(wù)器，當(dāng)遇到訪問的峰值，或者有人惡意發(fā)起慢速連接時(shí)，也很可能會(huì)導(dǎo)致服務(wù)器物理內(nèi)存耗盡頻繁交換，失去響應(yīng)，只能重啟服務(wù)器。例如當(dāng)前apache一旦上到200個(gè)以上進(jìn)程，web響 應(yīng)速度就明顯非常緩慢了。而Nginx采取了分階段資源分配技術(shù)，使得它的CPU與內(nèi)存占用率非常低。nginx官方表示保持10,000個(gè)沒有活動(dòng)的連 接，它只占2.5M內(nèi)存，所以類似DOS這樣的攻擊對(duì)nginx來說基本上是毫無用處的。就穩(wěn)定性而言, nginx比lighthttpd更勝一籌。
Nginx支持熱部署。它的啟動(dòng)特別容易, 并且?guī)缀蹩梢宰龅?*24不間斷運(yùn)行，即使運(yùn)行數(shù)個(gè)月也不需要重新啟動(dòng)。你還能夠在不間斷服務(wù)的情況下，對(duì)軟件版本進(jìn)行進(jìn)行升級(jí)。
Nginx采用master-slave模型, 能夠充分利用SMP的優(yōu)勢，且能夠減少工作進(jìn)程在磁盤I/O的阻塞延遲。當(dāng)采用select()/poll()調(diào)用時(shí)，還可以限制每個(gè)進(jìn)程的連接數(shù)。
Nginx 代碼質(zhì)量非常高，代碼很規(guī)范， 手法成熟， 模塊擴(kuò)展也很容易。特別值得一提的是強(qiáng)大的Upstream與Filter鏈。 Upstream為諸如reverse proxy, 與其他服務(wù)器通信模塊的編寫奠定了很好的基礎(chǔ)。而Filter鏈最酷的部分就是各個(gè)filter不必等待前一個(gè)filter執(zhí)行完畢。它可以把前一個(gè) filter的輸出做為當(dāng)前filter的輸入，這有點(diǎn)像Unix的管線。這意味著，一個(gè)模塊可以開始?jí)嚎s從后端服務(wù)器發(fā)送過來的請求，且可以在模塊接收 完后端服務(wù)器的整個(gè)請求之前把壓縮流轉(zhuǎn)向客戶端。
Nginx采用了一些os提供的最新特性如對(duì)sendfile (Linux 2.2+)，accept-filter (FreeBSD 4.1+)，TCP_DEFER_ACCEPT (Linux 2.4+) 的支持，從而大大提高了性能

二、 Nginx 安裝及調(diào)試
1、Pcre 安裝

2.        nginx 編譯安裝

更詳細(xì)的模塊定制與安裝請參照官方wiki.

3、Nginx 配置文件測試：

3、Nginx 啟動(dòng)：

4、Nginx 配置文件修改重新加載：

`
三、Nginx Rewrite

1.  Nginx Rewrite 基本標(biāo)記(flags)
last - 基本上都用這個(gè)Flag。
※相當(dāng)于Apache里的[L]標(biāo)記，表示完成rewrite，不再匹配后面的規(guī)則
break - 中止Rewirte，不再繼續(xù)匹配
redirect - 返回臨時(shí)重定向的HTTP狀態(tài)302
permanent - 返回永久重定向的HTTP狀態(tài)301
      ※原有的url支持正則  重寫的url不支持正則

2.  正則表達(dá)式匹配，其中：
    * ~         為區(qū)分大小寫匹配
    * ~*       為不區(qū)分大小寫匹配
    * !~和!~*   分別為區(qū)分大小寫不匹配及不區(qū)分大小寫不匹配

3. 文件及目錄匹配，其中：
   * -f和!-f用來判斷是否存在文件
    * -d和!-d用來判斷是否存在目錄
    * -e和!-e用來判斷是否存在文件或目錄
    * -x和!-x用來判斷文件是否可執(zhí)行


3.  Nginx 的一些可用的全局變量，可用做條件判斷：

四、 Nginx Redirect
將所有l(wèi)inuxtone.org與netseek.linuxtone.org域名全部自跳轉(zhuǎn)到http://www.linuxtone.org

五、 Nginx 目錄自動(dòng)加斜線:

六  Nginx Location

1．基本語法:[和上面rewrite正則匹配語法基本一致]
location [=|~|~*|^~] /uri/ { … }
    * ~  為區(qū)分大小寫匹配
    * ~* 為不區(qū)分大小寫匹配
    * !~和!~*分別為區(qū)分大小寫不匹配及不區(qū)分大小寫不匹配

示例1:
location = / {
# matches the query / only.
# 只匹配 / 查詢。
}
匹配任何查詢，因?yàn)樗姓埱蠖家?/ 開頭。但是正則表達(dá)式規(guī)則和長的塊規(guī)則將被優(yōu)先和查詢匹配

示例2:
location ^~ /images/ {
# matches any query beginning with /images/ and halts searching,
# so regular expressions will not be checked.
# 匹配任何已 /images/ 開頭的任何查詢并且停止搜索。任何正則表達(dá)式將不會(huì)被測試。

示例3:
location ~* .(gif|jpg|jpeg)$ {
# matches any request ending in gif, jpg, or jpeg. However, all
# requests to the /images/ directory will be handled by
}
# 匹配任何已 gif、jpg 或 jpeg 結(jié)尾的請求。


七、 Nginx expires

1．根據(jù)文件類型expires

2、根據(jù)判斷某個(gè)目錄

八、  Nginx 防盜鏈

1.        針對(duì)不同的文件類型

2.        針對(duì)不同的目錄

3.        同實(shí)現(xiàn)防盜鏈和expires的方法

九、 Nginx 訪問控制

1.        Nginx 身份證驗(yàn)證

2.        Nginx 禁止訪問某類型的文件.
如，Nginx下禁止訪問*.txt文件，配置方法如下.

方法2:

實(shí)例:
禁止訪問某個(gè)目錄

3.        使用ngx_http_access_module限制ip訪問

詳細(xì)參見wiki: http://wiki.codemongers.com/NginxHttpAccessModule#allow

4.        Nginx 下載限制并發(fā)和速率

只允許客房端一個(gè)線程,每個(gè)線程20k.
【注】limit_zone   linuxtone  $binary_remote_addr  10m; 這個(gè)可以定義在主的


5.        Nginx 實(shí)現(xiàn)Apache一樣目錄列表

6.        上文件大小限制
主配置文件里加入如下，具體大小根據(jù)你自己的業(yè)務(wù)做調(diào)整。
client_max_body_size 10m;                                                         

十、        Nginx 日志處理

1.Nginx 日志切割
#contab -e
59 23 * * * /usr/local/sbin/logcron.sh /dev/null 2>&1
[root@count ~]# cat /usr/local/sbin/logcron.sh

更多的日志分析與處理就關(guān)注(同時(shí)歡迎你參加討論):http://bbs.linuxtone.org/forum-8-1.html

2.利用AWSTATS分析NGINX日志
  設(shè)置好Nginx日志格式,仍后利用awstats進(jìn)行分析.
請參考: http://bbs.linuxtone.org/thread-56-1-1.html

3.        Nginx 如何不記錄部分日志
日志太多，每天好幾個(gè)G，少記錄一些，下面的配置寫到server{}段中就可以了
location ~ .*.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$
{
     access_log off;
}

十一、Nginx Cache服務(wù)配置

如果需要將文件緩存到本地，則需要增加如下幾個(gè)子參數(shù)：

其中，
proxy_store on用來啟用緩存到本地的功能，
proxy_temp_path用來指定緩存在哪個(gè)目錄下，如：proxy_temp_path html;

在經(jīng)過上一步配置之后，雖然文件被緩存到了本地磁盤上，但每次請求仍會(huì)向遠(yuǎn)端拉取文件，為了避免去遠(yuǎn)端拉取文件，必須修改

即改成有條件地去執(zhí)行proxy_pass，這個(gè)條件就是當(dāng)請求的文件在本地的proxy_temp_path指定的目錄下不存在時(shí)，再向后端拉取。

   
更多更高級(jí)的應(yīng)用可以研究ncache,詳細(xì)請參照http://bbs.linuxtone.org 里ncache相關(guān)的貼子.

十二、Nginx 負(fù)載均衡
1. Nginx 負(fù)載均衡基礎(chǔ)知識(shí)
nginx的upstream目前支持4種方式的分配
1)、輪詢（默認(rèn)）
每個(gè)請求按時(shí)間順序逐一分配到不同的后端服務(wù)器，如果后端服務(wù)器down掉，能自動(dòng)剔除。
2)、weight
指定輪詢幾率，weight和訪問比率成正比，用于后端服務(wù)器性能不均的情況。
2)、ip_hash
每個(gè)請求按訪問ip的hash結(jié)果分配，這樣每個(gè)訪客固定訪問一個(gè)后端服務(wù)器，可以解決session的問題。
3)、fair（第三方）
按后端服務(wù)器的響應(yīng)時(shí)間來分配請求，響應(yīng)時(shí)間短的優(yōu)先分配。
4)、url_hash（第三方）

2.        Nginx 負(fù)載均衡實(shí)例1

在需要使用負(fù)載均衡的server中增加
proxy_pass http://bbs.linuxtone.org/;

每個(gè)設(shè)備的狀態(tài)設(shè)置為:
a)        down 表示單前的server暫時(shí)不參與負(fù)載
b)        weight 默認(rèn)為1.weight越大，負(fù)載的權(quán)重就越大。
c)        max_fails ：允許請求失敗的次數(shù)默認(rèn)為1.當(dāng)超過最大次數(shù)時(shí)，返回proxy_next_upstream 模塊定義的錯(cuò)誤
d)        fail_timeout:max_fails次失敗后，暫停的時(shí)間。
e)        backup： 其它所有的非backup機(jī)器down或者忙的時(shí)候，請求backup機(jī)器。所以這臺(tái)機(jī)器壓力會(huì)最輕。

nginx支持同時(shí)設(shè)置多組的負(fù)載均衡，用來給不用的server來使用。

client_body_in_file_only 設(shè)置為On 可以講client post過來的數(shù)據(jù)記錄到文件中用來做debug
client_body_temp_path 設(shè)置記錄文件的目錄 可以設(shè)置最多3層目錄
location 對(duì)URL進(jìn)行匹配.可以進(jìn)行重定向或者進(jìn)行新的代理 負(fù)載均衡


3.        Nginx 負(fù)載均衡實(shí)例 2
按訪問url的hash結(jié)果來分配請求，使每個(gè)url定向到同一個(gè)后端服務(wù)器，后端服務(wù)器為緩存時(shí)比較有效,也可以用作提高Squid緩存命中率.

簡單的負(fù)載均等實(shí)例:
#vi nginx.conf  //nginx主配置文件核心配置

#vi  linuxtone_lb.conf

十三、Nginx簡單優(yōu)化

1.        減小nginx編譯后的文件大小 (Reduce file size of nginx)
默認(rèn)的nginx編譯選項(xiàng)里居然是用debug模式(-g)的（debug模式會(huì)插入很多跟蹤和ASSERT之類），編譯以后一個(gè)nginx有好幾兆。去掉nginx的debug模式編譯，編譯以后只有幾百K
在 auto/cc/gcc，最后幾行有：
# debug

注釋掉或刪掉這幾行，重新編譯即可。

2.        修改Nginx的header偽裝服務(wù)器
1)        修改nginx.h

2) 修改nginx_http_header_filter_module
#vi nginx-0.7.30/src/http/ngx_http_header_filter_module.c
將如下

修改為

a)        修改nginx_http_header_filter_module
#vi nginx-0.7.30/src/http/ngx_http_special_response.c
將如下：

修改為:

修改后重新編譯一下環(huán)境,
404錯(cuò)誤的時(shí)候顯示效果圖（如果沒有指定錯(cuò)誤頁的話）：

利用curl命令查看服務(wù)器header

 

3.為特定的CPU指定CPU類型編譯優(yōu)化.
默認(rèn)nginx使用的GCC編譯參數(shù)是-O
需要更加優(yōu)化可以使用以下兩個(gè)參數(shù)
--with-cc-opt='-O3'
--with-cpu-opt=opteron
使得編譯針對(duì)特定CPU以及增加GCC的優(yōu)化.
此方法僅對(duì)性能有所改善并不會(huì)有很大的性能提升，供朋友們參考.
CPUD類型確定: # cat /proc/cpuinfo | grep "model name"
編譯優(yōu)化參數(shù)參考：http://en.gentoo-wiki.com/wiki/Safe_Cflags

4.Tcmalloc優(yōu)化Nginx 性能

編譯nginx 加載google_perftools_module:
./configure --with-google_perftools_module
在主配置文件加入nginx.conf 添加:
google_perftools_profiles /path/to/profile;

5.內(nèi)核參數(shù)優(yōu)化
# vi /etc/sysctl.conf   #在末尾增加以下內(nèi)容：

#使配置立即生效
/sbin/sysctl -p

十四、如何構(gòu)建高性的LEMP
請參見: http://www.linuxtone.org/lemp/lemp.pdf
1、提供完整的配置腳本下載：http://www.linuxtone.org/lemp/scripts.tar.gz
2、提供NGINX常見配置范例含(虛擬主機(jī)，防盜鏈，Rewrite,訪問控制，負(fù)載均衡
Discuz相關(guān)程序靜態(tài)化及等等),你只要稍稍修改即可線上應(yīng)用。 3、將原版的xcache替換成EA，并提供相關(guān)簡單調(diào)優(yōu)腳本及配置文件。
更多的及更新資料請關(guān)注: http://www.linuxtone.org

十五、Nginx監(jiān)控
1、        RRDTOOL+Perl腳本畫圖監(jiān)控
先安裝好rrdtool ，關(guān)于rrdtool本文不作介紹，具體安裝請參照linuxtone監(jiān)控版塊.
#cd /usr/local/sbnin
#wget http://blog.kovyrin.net/files/mrtg/rrd_nginx.pl.txt
#mv rrd_nginx.pl.txt rrd_nginx.pl
#chmod a+x rrd_nginx.pl

#vi rrd_nginx.pl   //配置腳本文件設(shè)置好路徑
#!/usr/bin/perl
use RRDs;
use LWP::UserAgent;

# define location of rrdtool databases
my $rrd = '/data/www/wwwroot/nginx/rrd';
# define location of images
my $img = '/data/www/wwwroot/nginx/html';
# define your nginx stats URL
my $URL = "http://219.232.244.13/nginx_status";
…………
【注】根據(jù)自己具體的狀況修改相應(yīng)的路徑.
#crontab –e //加入如下
* * * * * /usr/local/sbin/rrd_nginx.pl
重啟crond后，通過配置nginx虛擬主機(jī)指到/data/www/wwwroot/nginx/html目錄，通過crond自動(dòng)執(zhí)行perl腳本會(huì)生成很多圖片.
http://xxx/connections-day.png即可看到服務(wù)器狀態(tài)圖。

2、        官方Nginx-rrd 監(jiān)控服務(wù)（多虛擬主機(jī)）（推薦）
網(wǎng)址：http://www.nginx.eu/nginx-rrd.html
此解決方案其實(shí)是基于上述監(jiān)控方案的一個(gè)改進(jìn)和增強(qiáng)，同樣先安裝好rrdtool這個(gè)畫圖工具和相應(yīng)的perl模塊再做如下操作：
# yum install perl-HTML*
先建立好生成的庫存和圖片存放錄

#vi /etc/nginx-rrd.conf

//根據(jù)你的具體情況做調(diào)整.
SEVERS_URL 格式 http://domain1/nginx_status;domain1 http://domain2/nginx_status;domain2
這種格式監(jiān)控多虛擬主機(jī)連接狀態(tài)：
重點(diǎn)啟crond服務(wù)，仍后通過http://219.32.205.13/nginx/html/ 即可訪問。配置過程很簡單！

3、        CACTI模板監(jiān)控Nginx
利用Nginx_status狀態(tài)來畫圖實(shí)現(xiàn)CACTI監(jiān)控
nginx編譯時(shí)允許http_stub_status_module

# vi /usr/local/nginx/conf/nginx.conf

檢測插件

在cacti管理面板導(dǎo)入
cacti_graph_template_nginx_clients_stat.xml
cacti_graph_template_nginx_sockets_stat.xml

十六、常見問題與錯(cuò)誤處理
1、400 bad request錯(cuò)誤的原因和解決辦法
配置nginx.conf相關(guān)設(shè)置如下.
client_header_buffer_size 16k;
large_client_header_buffers 4 64k;
根據(jù)具體情況調(diào)整，一般適當(dāng)調(diào)整值就可以。

2、Nginx 502 Bad Gateway錯(cuò)誤
proxy_next_upstream error timeout invalid_header http_500 http_503;
或者嘗試設(shè)置:
large_client_header_buffers 4 32k;


3、Nginx出現(xiàn)的413 Request Entity Too Large錯(cuò)誤
這個(gè)錯(cuò)誤一般在上傳文件的時(shí)候會(huì)出現(xiàn)，
編輯Nginx主配置文件Nginx.conf，找到http{}段，添加
client_max_body_size 10m; //設(shè)置多大根據(jù)自己的需求作調(diào)整.
如果運(yùn)行php的話這個(gè)大小client_max_body_size要和php.ini中的如下值的最大值一致或者稍大，這樣就不會(huì)因?yàn)樘峤粩?shù)據(jù)大小不一致出現(xiàn)的錯(cuò)誤。
post_max_size = 10M
upload_max_filesize = 2M

4、解決504 Gateway Time-out(nginx)
遇到這個(gè)問題是在升級(jí)discuz論壇的時(shí)候遇到的
一般看來, 這種情況可能是由于nginx默認(rèn)的fastcgi進(jìn)程響應(yīng)的緩沖區(qū)太小造成的, 這將導(dǎo)致fastcgi進(jìn)程被掛起, 如果你的fastcgi服務(wù)對(duì)這個(gè)掛起處理的不好, 那么最后就極有可能導(dǎo)致504 Gateway Time-out
現(xiàn)在的網(wǎng)站, 尤其某些論壇有大量的回復(fù)和很多內(nèi)容的, 一個(gè)頁面甚至有幾百K。
默認(rèn)的fastcgi進(jìn)程響應(yīng)的緩沖區(qū)是8K, 我們可以設(shè)置大點(diǎn)
在nginx.conf里, 加入： fastcgi_buffers 8 128k
這表示設(shè)置fastcgi緩沖區(qū)為8×128k
當(dāng)然如果您在進(jìn)行某一項(xiàng)即時(shí)的操作, 可能需要nginx的超時(shí)參數(shù)調(diào)大點(diǎn)，例如設(shè)置成60秒：send_timeout 60;
只是調(diào)整了這兩個(gè)參數(shù), 結(jié)果就是沒有再顯示那個(gè)超時(shí), 可以說效果不錯(cuò), 但是也可能是由于其他的原因, 目前關(guān)于nginx的資料不是很多, 很多事情都需要長期的經(jīng)驗(yàn)累計(jì)才有結(jié)果, 期待您的發(fā)現(xiàn)哈!

5、如何使用Nginx Proxy
朋友一臺(tái)服務(wù)器運(yùn)行tomcat 為8080端口,IP:192.168.1.2:8080,另一臺(tái)機(jī)器IP:192.168.1.8. 朋友想通過訪問http://192.168.1.8即可訪問tomcat服務(wù).配置如下:
在192.168.1.8的nginx.conf上配置如下:

6、如何關(guān)閉Nginx的LOG
access_log /dev/null; error_log /dev/null;

十七、相關(guān)資源下載

1.nginx配置示例及腳本下載:
# wget http://www.linuxtone.org/lemp/scripts.tar.gz #此腳本范例定期更新.