一點(diǎn)一滴，編程人生

業(yè)務(wù)

• 其一，有人可能把這個(gè)東西和QQ或是網(wǎng)游相比。但我覺(jué)得這兩者是不一樣的，網(wǎng)游和QQ在線或是登錄時(shí)訪問(wèn)的更多的是用戶自己的數(shù)據(jù)，而訂票系統(tǒng)訪問(wèn)的是中心的票量數(shù)據(jù)，這是不一樣的。不要覺(jué)得網(wǎng)游或是QQ能行你就以為這是一樣的。網(wǎng)游和QQ 的后端負(fù)載相對(duì)于電子商務(wù)的系統(tǒng)還是簡(jiǎn)單。

• 其二，有人說(shuō)春節(jié)期間訂火車的這個(gè)事好像網(wǎng)站的秒殺活動(dòng)。的確很相似， 但 是如果你的思考不在表面的話，你會(huì)發(fā)現(xiàn)這也有些不一樣。火車票這個(gè)事，還有很多查詢操作，查時(shí)間，查座位，查鋪位，一個(gè)車次不 行，又查另一個(gè)車次，其伴隨著大量的查詢操作，下單的時(shí)候需要對(duì)數(shù)據(jù)庫(kù)操作。而秒殺，直接殺就好了。另外，關(guān)于秒殺，完全可以做成只接受前N個(gè)用戶的請(qǐng)求 （完全不操作后端的任何數(shù)據(jù)， 僅僅只是對(duì)用戶的下單操作log），這種業(yè)務(wù)，只要把各個(gè)服務(wù)器的時(shí)間精確同步了就可以了，無(wú)需在當(dāng)時(shí)操作任何數(shù)據(jù)庫(kù)。可以訂單數(shù)夠后，停止秒殺，然后批 量寫數(shù)據(jù)庫(kù)。火車票這個(gè)豈止是秒殺那么簡(jiǎn)單。能不能買到票得當(dāng)時(shí)告訴用戶啊。

• 其三，有人拿這個(gè)系統(tǒng)和奧運(yùn)會(huì)的票務(wù)系統(tǒng)比較。我覺(jué)得還是不一樣。雖然奧運(yùn)會(huì)的票務(wù)系統(tǒng)當(dāng)年也一上線就廢了。但是奧運(yùn)會(huì)用的是抽獎(jiǎng)的方式，也就是說(shuō)不存在先來(lái)先得的搶的方式，而且，是事后抽獎(jiǎng)，事前只需要收信息，事前不需要保證數(shù)據(jù)一致性，沒(méi)有鎖，很容易水平擴(kuò)展。

• 其四，訂票系統(tǒng)應(yīng)該和電子商務(wù)的訂單系統(tǒng)很相似，都是需要對(duì)庫(kù)存進(jìn) 行：1）占住庫(kù)存，2）支付（可選），3）扣除庫(kù)存的操作。這個(gè)是需要有一致性的檢查的，也就是在并發(fā)時(shí)需要對(duì)數(shù)據(jù)加鎖的。B2C的電商基本上都會(huì)把這個(gè) 事干成異步的，也就是說(shuō)，你下的訂單并不是馬上處理的，而是延時(shí)處理的，只有成功處理了，系統(tǒng)才會(huì)給你一封確認(rèn)郵件說(shuō)是訂單成功。我相信有很多朋友都收到 認(rèn)單不成功的郵件。這就是說(shuō)，數(shù)據(jù)一致性在并發(fā)下是一個(gè)瓶頸。

• 其五，鐵路的票務(wù)業(yè)務(wù)很變態(tài)，其采用的是突然放票，而有的票又遠(yuǎn)遠(yuǎn)不夠 大家分，所以，大家才會(huì)有搶票這種有中國(guó)特色的業(yè)務(wù)的做法。于是當(dāng)票放出來(lái)的時(shí)候，就會(huì)有幾百萬(wàn)人甚至上千萬(wàn)人殺上去，查詢，下單。幾十分鐘內(nèi)，一個(gè)網(wǎng)站 能接受幾千萬(wàn)的訪問(wèn)量，這個(gè)是很恐怖的事情。據(jù)說(shuō)12306的高峰訪問(wèn)是10億PV，集中在早8點(diǎn)到10點(diǎn)，每秒PV在高峰時(shí)上千萬(wàn)。

• 庫(kù)存是B2C的惡夢(mèng)，庫(kù)存管理相當(dāng)?shù)膹?fù)雜。不信，你可以問(wèn)問(wèn)所有傳統(tǒng)和電務(wù)零售業(yè)的企業(yè)，看看他們管理庫(kù)存是多么難的一件事。不然，就不會(huì)有那么多人在問(wèn)凡客的庫(kù)存問(wèn)題了。（你還可以看看《喬布斯傳》，你就知道為什么Tim會(huì)接任Apple的CEO了，因?yàn)樗愣颂O果的庫(kù)存問(wèn)題）

• 對(duì)于一個(gè)網(wǎng)站來(lái)說(shuō)，瀏覽網(wǎng)頁(yè)的高負(fù)載很容易搞定，查詢的負(fù)載有一定的難度去處理，不過(guò)還是可以通過(guò)緩存查詢結(jié)果來(lái)搞定，最難的就是下單的負(fù)載。因?yàn)橐L問(wèn)庫(kù)存啊，對(duì)于下單，基本上是用異步來(lái)搞定的。去年雙11節(jié)，淘寶的每小時(shí)的訂單數(shù)大約在60萬(wàn)左右，京東一天也才能支持40萬(wàn)（居然比12306還差），亞馬遜5年前一小時(shí)可支持70萬(wàn)訂單量。可見(jiàn)，下訂單的操作并沒(méi)有我們相像的那么性能高。

• 淘寶要比B2C的網(wǎng)站要簡(jiǎn)單得多，因?yàn)闆](méi)有倉(cāng)庫(kù)，所以，不存在像B2C這樣有N個(gè)倉(cāng)庫(kù)對(duì)同一商品庫(kù)存更新和 查 詢的操作。下單的時(shí)候，B2C的 網(wǎng)站要去找一個(gè)倉(cāng)庫(kù)，又要離用戶近，又要有庫(kù)存，這需要很多計(jì)算。試想，你在北京買了一本書，北京的倉(cāng)庫(kù)沒(méi)貨了，就要從周邊的倉(cāng)庫(kù)調(diào)，那就要去看看沈陽(yáng)或 是西安的倉(cāng)庫(kù)有沒(méi)有貨，如果沒(méi)有，又得看看江蘇的倉(cāng)庫(kù)，等等。淘寶的就沒(méi)有那么多事了，每個(gè)商戶有自己的庫(kù)存，庫(kù)存分到商戶頭上了，反而有利于性能。

• 數(shù)據(jù)一致性才是真正的性能瓶頸。有 人說(shuō)nginx可以搞定每秒10萬(wàn)的靜態(tài)請(qǐng)求，我不懷疑。但這只是靜態(tài)請(qǐng)求，理論值，只要帶寬、I/O夠強(qiáng)，服務(wù)器計(jì)算能力夠，并支持的并發(fā)連接數(shù)頂?shù)米?10萬(wàn)TCP鏈接的建立 的話，那沒(méi)有問(wèn)題。但在數(shù)據(jù)一致性面前，這10萬(wàn)就完完全全成了一個(gè)可望不可及的理論值了。

前端性能優(yōu)化技術(shù)

一、前端負(fù)載均衡

二、減少前端鏈接數(shù)

三、減少網(wǎng)頁(yè)大小增加帶寬

四、前端頁(yè)面靜態(tài)化

五、優(yōu)化查詢

六、緩存的問(wèn)題

后端性能優(yōu)化技術(shù)

一、數(shù)據(jù)冗余

二、數(shù)據(jù)鏡像

三、數(shù)據(jù)分區(qū)

四、后端系統(tǒng)負(fù)載均衡

• 負(fù)載情況比較復(fù)雜。什么叫忙？是CPU高？還是磁盤I/O高？還是內(nèi)存使用高？還是并發(fā)高？你可能需要全部都要考慮。這些信息要發(fā)送給那個(gè)任務(wù)分配器上，由任務(wù)分配器挑選一臺(tái)負(fù)載最輕的服務(wù)器來(lái)處理。

• 任務(wù)分配服務(wù)器上需要對(duì)任務(wù)隊(duì)列，不能丟任務(wù)啊，所以還需要持久化。并且可以以批量的方式把任務(wù)分配給計(jì)算服務(wù)器。

• 任務(wù)分配服務(wù)器死了怎么辦？這里需要一些如Live-Standby或是failover等高可用性的技術(shù)。我們還需要注意那些持久化了的任務(wù)的隊(duì)列如果轉(zhuǎn)移到別的服務(wù)器上的問(wèn)題。

五、異步、 throttle 和 批量處理

• 異步在業(yè)務(wù)上一般來(lái)說(shuō)就是收集請(qǐng)求，然后延時(shí)處理。在技術(shù)上就是可以把各個(gè)處理程序做成并行的，也就可以水平擴(kuò)展了。但是異步的技術(shù)問(wèn)題大概有 這 些，a）被調(diào)用方的結(jié)果返回，會(huì)涉及進(jìn)程線程間通信的問(wèn)題。b）如果程序需要回滾，回滾會(huì)有點(diǎn)復(fù)雜。c）異步通常都會(huì)伴隨多線程多進(jìn)程，并發(fā)的控制也相對(duì) 麻煩一些。d）很多異步系統(tǒng)都用消息機(jī)制，消息的丟失和亂序也會(huì)是比較復(fù)雜的問(wèn)題。

• throttle 技術(shù)其實(shí)并不提升性能，這個(gè)技術(shù)主要是防止系統(tǒng)被超過(guò)自己不能處理的流量給搞垮了，這其實(shí)是個(gè)保護(hù)機(jī)制。使用throttle技術(shù)一般來(lái)說(shuō)是對(duì)于一些自己無(wú)法控制的系統(tǒng)，比如，和你網(wǎng)站對(duì)接的銀行系統(tǒng)。

• 批量處理的技術(shù)，是把一堆基本相同的請(qǐng)求批量處理。比如，大家同時(shí)購(gòu)買同一個(gè)商品，沒(méi)有必要你買一個(gè)我就寫一次數(shù)據(jù)庫(kù)，完全可以收集到一定數(shù)量 的 請(qǐng)求，一次操作。這個(gè)技術(shù)可以用作很多方面。比如節(jié)省網(wǎng)絡(luò)帶寬，我們都知道網(wǎng)絡(luò)上的MTU（最大傳輸單元），以態(tài)網(wǎng)是1500字節(jié)，光纖可以達(dá)到4000 多個(gè)字節(jié)，如果你的一個(gè)網(wǎng)絡(luò)包沒(méi)有放滿這個(gè)MTU，那就是在浪費(fèi)網(wǎng)絡(luò)帶寬，因?yàn)榫W(wǎng)卡的驅(qū)動(dòng)程序只有一塊一塊地讀效率才會(huì)高。因此，網(wǎng)絡(luò)發(fā)包時(shí)，我們需要收 集到足夠多的信息后再做網(wǎng)絡(luò)I/O，這也是一種批量處理的方式。批量處理的敵人是流量低，所以，批量處理的系統(tǒng)一般都會(huì)設(shè)置上兩個(gè)閥值，一個(gè)是作業(yè)量，另 一個(gè)是timeout，只要有一個(gè)條件滿足，就會(huì)開(kāi)始提交處理。

小結(jié)