微軟帝國的締造者比爾-蓋茨(Bill Gates)曾寫過一本在當時轟動一時的書——《未來之路》,他在這本276頁的書中預測了微軟乃至整個科技產業未來的走勢。十年后,人們又一次開始對科技產業的未來展開了預測,不過這一次預測完全集中在蓋茨10年前沒有預測到的重要產業領域:搜索引擎。2006年5月19日和20日,雅虎歐洲研究中心和
Universitat Pompeu Fabrah大學網絡搜索研究組合辦的“
互聯網搜索的未來”(Future of Web Search)研討會在西班牙召開,來自17個國家的150名搜索前沿的探索者們濟濟一堂,對未來搜索的各種主題進行了展望。
著名搜索專家、智利科學家Ricardo Baeza-Yates在會上作了《互聯網查詢詞挖掘的應用》(Applications of Mining Web Queries)的主題報告。今年1月,Ricardo正式加盟雅虎,負責雅虎在歐洲及拉美的研發中心。他與Berthier Ribeiro-Neto曾一起合作編寫了《現代信息檢索》(Modern Information Retrieval)一書,成為信息檢索領域的經典教科書而廣泛流傳。Ricardo在加盟雅虎前是智利大學計算機科學系教授,同時也是世界上多所大學的客座教授,被公認為信息檢索領域少數幾位頂級專家之一。在這份報告中,他介紹了對用戶搜索時使用的關鍵詞進行分析后的各種應用:通過對查詢詞的聚類,借此了解用戶搜索的動機,從而可以向用戶推薦更好的查詢詞,或者對搜索結果的相關性進行改進,或者根據查詢詞對用戶點擊的網頁進行分類。
另一位雅虎搜索研究專家Andrei Broder作了主題報告:《從信息檢索到信息推送》(From query based Information Retrieval to context driven Information Supply)的報告。大家對于Andrei可能并不陌生,搜索日志在此前曾刊登了《對話Andrei Broder》系列文章1、2、3,初步接觸了他對未來“沒有搜索框的搜索”的一些暢想。

Andrei認為互聯網的搜索發展可以分成四個階段。第一個階段是1994年到1997年,當時的搜索引擎都采用的是傳統信息檢索方法,只使用網頁自身帶有的文字信息(例如:詞出現的頻率,網頁內容的語言等),比較典型的搜索引擎包括Altavista、Excite、Lycos等。1998年后,進入第二個階段,搜索引擎開始大量采用網頁之外的信息,包括各種超鏈分析算法、用戶點擊的跟蹤和鏈接文字(Anchor Text)的應用等,該階段搜索引擎代表是Google和Inktomi。目前我們正處在第三個階段,搜索引擎開始關注用戶查詢詞背后的需求,而不再是查詢詞本身,這包括語義的分析,相關內容的整合,對用戶的查詢提供更多幫助(例如:友好的界面、拼寫糾錯、相關搜索、搜索提示等)。2000年,在《互聯網搜索的分類》這篇論文中,Andrei在分析后把人們上網搜索的需求分成三類:對信息的需求(例如:找新聞、找評論、找帖子等)、對導航的需求(找某個特定網站)和對交易的需求(例如:下載軟件、在線購物、訂機票等)。第三代搜索引擎必須根據用戶的需求,進行結果的優化,比較典型的例子是雅虎快捷展現(Yahoo Shortcuts)。例如:搜索“北京 天氣”時,除相關網頁搜索結果外,還會顯示當前北京的天氣情況。

第三代搜索引擎大量利用與時空相關的Context信息,如:地理位置、查詢歷史、個人檔案等。通過對這些相關信息的利用,可幫助篩選出不合適的結果,結果的排序可以更加個性化。隨著Context信息的不斷發展,Andrei認為到第四代搜索引擎后,用戶的搜索將不在需要他們輸入查詢詞,而是搜索引擎可以根據用戶的行為和Context信息,主動進行信息的推送(Information Supply)。

其實,在目前的互聯網上,已經有一些信息推送的例子。例如,對周期性需求的信息推送,像訂閱服務(電子郵件、RSS等)或者新聞郵件提示等。再比如對一些臨時性需求的信息推送,像電子商務(推送商品的配件信息、用戶評論和相關商品信息等)、在線旅游(推送機票、酒店、租車等信息)以及上下文相關的廣告推送。在Andrei看來,選擇顯示什么廣告時不僅僅要看查詢的關鍵詞,還要針對用戶的背景、查詢的歷史、用戶所處的地理位置(大到國家,小到街道)和廣告的顯示歷史進行優化匹配。在這個過程中,信息推送引擎(ISE)將對三個信息源要素進行匹配,即對用戶(如:注冊的檔案和背景信息)、活動(如:用戶操作歷史和瀏覽網頁的內容)和廣告(如:廣告的統計)進行匹配,排序顯示最合適的廣告。當用戶執行了相應操作(如:點擊某條廣告)后,此信息會反饋到三個信息源以及信息推送引擎,以便進行下一次的廣告推送,從而周而復始,成為閉環。雅虎今年7月推出的搜索廣告系統Panama和微軟計劃開發的adCenter(微軟10年后終于意識到了搜索引擎的重要性),原理大體與此類似。
整個研討會共有17個主題報告,除上面兩個外,還包括:鏈接型Spam的對策,P2P搜索的相關性,搜索的個性化,用于語義搜索的XML信息檢索等,喜歡搜索的朋友可以下載后慢慢研讀(都是英文的)。

會議期間,還舉行了雅虎在巴塞羅納研究中心的開幕儀式。上圖(由左到右)為身材魁梧的大胡子Richardo和雅虎西班牙負責人Javier Rodriguez Zapatero、雅虎美國研究院副總裁Ron Brachman在開幕式上的合影。