放翁（文初）的一畝三分地

         淘寶越來越大，公司內(nèi)部有很多部門和子公司，之間最有效的合作方式就是通過TOP平臺(tái)低耦合的集成淘寶基礎(chǔ)服務(wù)能力。同時(shí)，如何將淘寶的能力和電子商務(wù)的能力滲透到傳統(tǒng)行業(yè)的方方面面，如何結(jié)合各種終端來展現(xiàn)給不同層次的用戶，都需要將服務(wù)以不同的方式集成到已有的形態(tài)各異的系統(tǒng)或終端中。但到發(fā)展到今天的情況來看，在普通開發(fā)者這塊的成長(zhǎng)是低于預(yù)期的，這類應(yīng)用現(xiàn)在創(chuàng)新力度很低，大部分人都開發(fā)收益較快，投入較少，開發(fā)維護(hù)成本較低的淘客類應(yīng)用。國(guó)內(nèi)的開發(fā)者真的需要多學(xué)習(xí)國(guó)外的一些Mashup的創(chuàng)新精神（也許是國(guó)外的API資源豐富），淘客類應(yīng)用，賣家工具，其實(shí)這些應(yīng)用飽和程度十分高，同質(zhì)競(jìng)爭(zhēng)激烈，最后能夠給開發(fā)者帶來的收益當(dāng)然也很低。

系統(tǒng)透明化

         今年我們團(tuán)隊(duì)的定位是服務(wù)化團(tuán)隊(duì)，我們需要去探索新的模式，關(guān)注新的技術(shù)發(fā)展，但是最根本的是要做好當(dāng)前，服務(wù)好我們的客戶，系統(tǒng)透明化就是服務(wù)化團(tuán)隊(duì)的基礎(chǔ)。系統(tǒng)透明化的作用是什么，拿過去賣跌打膏的一句常說的話：“有病治病，無病防身”（沒有問題的時(shí)候知道可能那些地方已經(jīng)處于非正常狀態(tài)或者可以找到一些瓶頸所在，在出了問題，可以迅速防止問題擴(kuò)大，高效的解決問題）。對(duì)于開放平臺(tái)來說，服務(wù)可用性和服務(wù)效率其實(shí)是最更本的非業(yè)務(wù)性需求，當(dāng)一次請(qǐng)求2-3秒才會(huì)返回，請(qǐng)求10次有4次是不通的，那么后面的服務(wù)就算再吸引人，都很難讓開發(fā)者做出吸引用戶的應(yīng)用。說一下我在做這塊的幾點(diǎn)收獲：

1.       數(shù)據(jù)為王。最初透明化的工作就是分析每天的訪問日志記錄，得到系統(tǒng)數(shù)據(jù)統(tǒng)計(jì)報(bào)表和業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)報(bào)表。通過系統(tǒng)數(shù)據(jù)統(tǒng)計(jì)報(bào)表的結(jié)果來找到系統(tǒng)的瓶頸，通過業(yè)務(wù)數(shù)據(jù)報(bào)表來指導(dǎo)業(yè)務(wù)規(guī)劃。例如分析整個(gè)服務(wù)安全校驗(yàn)和路由過程，最消耗時(shí)間的就在服務(wù)請(qǐng)求解析上，因此就考慮如何去減少服務(wù)解析帶來的系統(tǒng)消耗：Lazy Parser通過采用流的方式分段解析參數(shù)，當(dāng)發(fā)現(xiàn)系統(tǒng)參數(shù)校驗(yàn)失敗時(shí)將不再繼續(xù)分析整個(gè)Http包，減少在錯(cuò)誤情況下由于載入全部數(shù)據(jù)帶來的損耗。同時(shí)參看Jetty的Continuation的設(shè)計(jì)，學(xué)習(xí)在基于事件模式下，如何最小化連接資源分配（復(fù)用資源，帶來的問題就是復(fù)雜度增加）。另一方面，發(fā)現(xiàn)淘客類應(yīng)用對(duì)于服務(wù)的請(qǐng)求會(huì)反復(fù)調(diào)用多個(gè)接口來拼裝成為一個(gè)完整信息，因此優(yōu)化了淘客類服務(wù)，使得應(yīng)用大幅度減少訪問請(qǐng)求，減少無謂的系統(tǒng)壓力，提高外部應(yīng)用的效率。簡(jiǎn)單來說，啥都需要數(shù)據(jù)說話，最怕今天跑過來和我說我們要重構(gòu)和優(yōu)化了，但是又無法說出為什么這就是我們的瓶頸，優(yōu)化完有啥指標(biāo)可以證明有效。只有在系統(tǒng)透明化以后，數(shù)據(jù)能夠說明一切。優(yōu)化需要從全局去看，而不是局部，并行處理提高了非關(guān)鍵路徑的性能，沒有什么太大的意義。

2.       按需設(shè)計(jì)，抽象分層。在最初的時(shí)候，透明化的目標(biāo)通過一個(gè)單機(jī)版的報(bào)表分析器就可以完成。（一天6千萬條的訪問日志，3個(gè)多G的文件，系統(tǒng)報(bào)表3-4張，業(yè)務(wù)報(bào)表5-6張），逐漸數(shù)據(jù)量不斷膨脹（一天5億左右的訪問日志，8-90個(gè)G的數(shù)據(jù)文件，系統(tǒng)報(bào)表和業(yè)務(wù)報(bào)表常規(guī)就有20張，還有不少零時(shí)的需求提出），因此演變成為一個(gè)多機(jī)版的報(bào)表分析器，與此同時(shí)，每日一次的分析不能滿足對(duì)于業(yè)務(wù)系統(tǒng)即時(shí)的監(jiān)控和告警，因此多機(jī)版的報(bào)表分析器，支持非靜態(tài)文本數(shù)據(jù)源的方式，Slave不斷主動(dòng)從應(yīng)用服務(wù)器端增量獲取日志數(shù)據(jù)，演變成為一個(gè)即時(shí)分析系統(tǒng)。

但整體結(jié)構(gòu)如下：

                                               

           整個(gè)體系的演進(jìn)只影響到任務(wù)管理組件和數(shù)據(jù)傳輸組件。在單機(jī)版的時(shí)候，數(shù)據(jù)傳輸組件不存在，都是多線程之間的任務(wù)分配和數(shù)據(jù)合并。多機(jī)版就是增加了數(shù)據(jù)傳輸組件，業(yè)務(wù)性統(tǒng)計(jì)規(guī)則引擎都采用已有的抽象設(shè)計(jì)。即時(shí)分析系統(tǒng)則在任務(wù)管理組件上擴(kuò)展了數(shù)據(jù)源獲取的方式。

           首先我并沒有直接去考慮多機(jī)版的實(shí)現(xiàn)，因?yàn)槲业脑O(shè)計(jì)可以滿足當(dāng)前的需求：靈活（基于配置在運(yùn)行期創(chuàng)建規(guī)則分析各種弱數(shù)據(jù)類型的日志），高效（任務(wù)切分，多線程并行計(jì)算分析）。最重要的是在短時(shí)間內(nèi)給出了一個(gè)可用的版本，解決了當(dāng)務(wù)之急。（很多時(shí)候就是要權(quán)衡時(shí)間和設(shè)計(jì)，不斷的迭代產(chǎn)出階段性成果，才能夠降低風(fēng)險(xiǎn)，不斷提升成熟度，通過反饋指導(dǎo)設(shè)計(jì)的方向）。其次，整個(gè)演進(jìn)過程中，業(yè)務(wù)抽象設(shè)計(jì)部分一直保持較為穩(wěn)定的狀態(tài)，將底層的任務(wù)管理和傳輸不斷的根據(jù)需求去擴(kuò)展和優(yōu)化。（這其實(shí)就是要求在設(shè)計(jì)上有分層的思想，業(yè)務(wù)領(lǐng)域的設(shè)計(jì)需要與非業(yè)務(wù)性需求分開考慮，便于擴(kuò)展，同時(shí)降低不同層次的耦合度，增加未來多系統(tǒng)復(fù)用的可能性），下圖是當(dāng)前即時(shí)分析的一個(gè)簡(jiǎn)單的部署圖：

                                               

Master的工作很簡(jiǎn)單，就列出的4步。Slave是一個(gè)純粹的“勞動(dòng)者”，根據(jù)Master給的任務(wù)去執(zhí)行分析。（任務(wù)中包括了資源的來源描述，可能是靜態(tài)文件系統(tǒng)（ftp，分布式文件系統(tǒng)）等，也可能是一些應(yīng)用服務(wù)器。任務(wù)中也包括了分析規(guī)則引擎數(shù)據(jù)）

客戶第一

         今天在業(yè)務(wù)統(tǒng)計(jì)分析中，淘客應(yīng)用占有的比例很高。為什么？開放平臺(tái)需要讓開發(fā)者“簡(jiǎn)單的賺錢”。“簡(jiǎn)單的賺錢”，兩個(gè)詞說明一切，投入少，回報(bào)高，站在開發(fā)者角度多考慮一些問題才能夠指導(dǎo)ISV去開發(fā)出更多更有價(jià)值的應(yīng)用。當(dāng)前通過API來開發(fā)應(yīng)用成本較高，同時(shí)周期也較長(zhǎng)，因此針對(duì)這些問題，TOP平臺(tái)有在業(yè)務(wù)創(chuàng)新上的一系列規(guī)劃，降低應(yīng)用開發(fā)者開發(fā)和維護(hù)成本，讓開發(fā)者更多關(guān)注在業(yè)務(wù)創(chuàng)新上，而不是基礎(chǔ)服務(wù)的使用上。如下圖：

                            

         從服務(wù)的使用者和服務(wù)的提供者兩方面去提升用戶體驗(yàn)，在某些時(shí)候工具類或者輔助類的服務(wù)并不僅僅是錦上添花，它可能成為產(chǎn)品化成敗的關(guān)鍵點(diǎn)。（細(xì)節(jié)決定成敗，老生常談），但是實(shí)際中需要去了解和體會(huì)用戶的需求，一來自己就去用API開發(fā)，二來從業(yè)務(wù)分析數(shù)據(jù)上來分析不同用戶群的行為和趨勢(shì)。

平臺(tái)要死，哪里會(huì)是致命的一擊

         幾周以前，整個(gè)TOP的技術(shù)和業(yè)務(wù)團(tuán)隊(duì)的部分同學(xué)在西溪濕地開了一個(gè)會(huì)議。目的是讓大家說出自己工作中的問題和難處，同時(shí)為將來的TOP發(fā)展明確方向。其中提到了整個(gè)阿里巴巴和淘寶都會(huì)找自己失敗的問題所在，因?yàn)橹挥心阕约褐懒俗约涸谑裁辞闆r下會(huì)失敗，才會(huì)去改進(jìn)自己的不足，避免走到無可挽回的地步。

         TOP如果要死，那么什么是它的致命一擊？對(duì)我來說，如果每個(gè)人心里少了產(chǎn)品化的理念，那么TOP就會(huì)失敗。產(chǎn)品化意味著什么，對(duì)研發(fā)人員來說，意味著你每一個(gè)技術(shù)實(shí)現(xiàn)都需要清楚的理解它背后的商業(yè)需求和客戶需求，在PD和運(yùn)營(yíng)同學(xué)提出想法的時(shí)候需要從一個(gè)客戶的角度多考慮易用性，擴(kuò)展性。（簡(jiǎn)單來說，不要做一個(gè)“死”寫代碼的，做個(gè)臨時(shí)演員都要有職業(yè)素養(yǎng)，做一個(gè)程序員更要有程序員的“修養(yǎng)”）對(duì)于一個(gè)PD來說，需要協(xié)同技術(shù)團(tuán)隊(duì)做好產(chǎn)品規(guī)劃，用數(shù)據(jù)來指導(dǎo)產(chǎn)品設(shè)計(jì)，用技術(shù)提升用戶體驗(yàn)。（簡(jiǎn)單來說，除了多說，更要多聽多看，開發(fā)團(tuán)隊(duì)也有很多同學(xué)對(duì)商業(yè)和產(chǎn)品有自己獨(dú)到的見解）。對(duì)于運(yùn)營(yíng)團(tuán)隊(duì)來說，要將用戶的聲音“過濾”并“轉(zhuǎn)化”，讓開發(fā)和PD能夠收取到更多有用的信息。

         因此，TOP要死，前提是在每個(gè)人心里面“TOP”已死，我記得鳳先同學(xué)一直說一句話：“每個(gè)人心中都有一個(gè)TOP。”當(dāng)大家心中的“TOP”不死，產(chǎn)品化思想不死，那么TOP就總會(huì)有希望，因?yàn)?/span>TOP就是我們這么一群人不斷奮斗的目標(biāo)。

太累了，搞完代碼再寫blog，很多東西可以寫，不過實(shí)在吃不消……，有興趣想了解細(xì)節(jié)的同學(xué)可以直接和我聯(lián)系。