作者：Tim、Jeremy 和Tara
翻譯：Yeqi 工程師

注：Andrei Broder是雅虎新興搜索技術(shù)（Emerging Search Technology）部門副總裁和雅虎研究科學(xué)家，在他數(shù)十年的職業(yè)生涯中，曾經(jīng)在著名的搜索引擎公司AltaVista中擔(dān)任過研發(fā)部門副總裁和首席科學(xué)家，并曾以“網(wǎng)頁消重”和“網(wǎng)絡(luò)映射”方面的論文分別獲得了WWW6和WWW9的最佳論文獎。該訪談最早刊登在雅虎美國的搜索博客上，分為3個部分。在第1部分中，Andrei談到了他選擇來雅虎工作的原因，在談話中從可以看出Andrei和搜索之間非同一般的感情。

問：當(dāng)你加盟雅虎的消息被公布后，在一次采訪中你曾經(jīng)提到過，自己的選擇讓2/3的朋友失望了，為什么會這么說呢？
答：是這樣的，你知道，搜索這個行業(yè)真是太小了。那時我收到了雅虎和其他幾個搜索巨頭的邀請。我在這三家搜索公司中都有很多朋友，所以無論我選擇去哪家公司，其他2/3的朋友都會因為我沒有選擇他們的公司而不開心的！

問：那么，為什么選擇雅虎呢!?
答：我一直從事研究的工作。最近，人們經(jīng)常會問研究（research）和前沿開發(fā)（advanced development）之間的區(qū)別到底是什么？這是非常有趣的問題，因為以前研究通常會領(lǐng)先目前的技術(shù)水平5年，而前沿開發(fā)領(lǐng)先的時間則短得多。不過，現(xiàn)在這種情況已經(jīng)轉(zhuǎn)變了，從研究到前沿開發(fā)的周期已經(jīng)變得非常的短，他們已經(jīng)開始變得同步起來了。

但是，它們之間還是有著本質(zhì)不同的：研究的目的是推進全球技術(shù)進入新階段。所有進行研究的人們在一起推進全球的技術(shù)。諸如IBM和微軟這樣的公司都在支持研究工作，因為隨著相應(yīng)的市場擴大，每家公司也可以相應(yīng)獲利。同樣，雅虎也采取了一個類似的開放的方法來開發(fā)、研究和發(fā)表成果，這里的研究環(huán)境和目標更讓我認可。

問：你以前住在哪里？
答：我以前住在紐約，但是我非常樂意回到加州來生活。我過去在曼哈頓周邊的Hawthorne工作，住在Riverdale，一切都挺好。從文化角度來說，沒有地方可以比得上紐約了。順便說一下，我們在紐約也有辦公室；雅虎研究部在原來HotJobs公司（注：美國著名的在線招聘網(wǎng)站，2001年底被雅虎收購）的辦公室里也有辦公場所。

問：工作之余你會做什么呢？
答：我會去滑雪。4年前我在一次滑雪中摔傷了我的肩膀。不過搬到加利福尼亞后，我已經(jīng)準備重新開始滑雪了！

問：當(dāng)你滑雪時，有沒有為你的研究或工作帶來過靈感？
答：哈！不止是滑雪，當(dāng)我在AltaVista的時候，我也會常常去旅行。在一次從羅馬到蘇黎士的旅行中，我當(dāng)時正在寫電子郵件以及做一些你平時在商務(wù)旅行中都會做的事，坐在我旁邊的是一個韓裔的美國小女孩，9歲，非常口齒伶俐。她問了我很多問題，比如你在做什么，你用的是哪一種型號的計算機。我告訴她我在AltaVista工作，于是她說，“噢，我知道，那是一個搜索引擎！但是我們還不讓去用它。”一個9歲女孩都知道我的研究領(lǐng)域，這太讓人驚訝了。如果我說是DEC或者康柏公司，可能她就不知道我是干什么的了。這就是網(wǎng)絡(luò)的魔力。

問：你決定從哪個方面介入搜索研究？
答：在這個音頻片段中，Andrei談了他的研究生求學(xué)經(jīng)歷，導(dǎo)師Don Knuth對他未來的影響，以及他最早的以及最廣為人知的關(guān)于New Duplicates的論文。

下載語音鏈接：
Download file

問：你覺得目前網(wǎng)頁搜索應(yīng)用的現(xiàn)狀如何？
答：一些問題還沒有得到解決。如果你回過頭閱讀一下90年代中期的WWW會議上的論文，像重復(fù)、數(shù)據(jù)抓取策略、網(wǎng)絡(luò)圖分析等問題，現(xiàn)在仍然緊密相關(guān)的。所有這些問題都依舊存在，有很多可以改進的地方。同樣，就像你看現(xiàn)在的汽車，依然會有很多對鋼材料、發(fā)動機、結(jié)構(gòu)的改進，但是研究的焦點已經(jīng)放到了多功能汽車等上面。對于網(wǎng)頁搜索，我相信下一步的研究方向?qū)切畔⑻峁┖投喾N信息來源的整合。

問：你是否想說我們（作為一個產(chǎn)業(yè)）自搜索引擎發(fā)明以來已經(jīng)有了長足的進步？
答：是的，很顯然。當(dāng)AltaVista剛誕生的時候，我們需要3個月的時間來建立一個3千萬網(wǎng)頁文檔的索引，而且還存在很多的重復(fù)和其它各種問題。90年代早期，5萬詞的辭典就可被稱為“大”。接著，“大”是指百萬級別，而現(xiàn)在則是指數(shù)十億級別。這種變化不僅僅是數(shù)量上的，質(zhì)量的改進同樣使得搜索結(jié)果變得更好。

問：那么，Andrei，你認為下一步我們要朝哪個方向走？
答：我在《網(wǎng)頁搜索的分類（Taxonomy of Web search）》這篇論文中談到了網(wǎng)頁搜索的三個階段。我相信我們正在走入一個全新的時期。我把這個新階段稱為“沒有搜索框的搜索”。今天的搜索被限制成你先給一些信息，然后得到一些信息，屬于一種拉（Pull）的模式。下一步要做的是信息能根據(jù)上下文關(guān)系自動給出而不需要主動去搜索，一種推（Push）的模式。我最喜歡拿GPS舉例，它取代了以往的在地圖上找路的方式。在你的汽車里，GPS導(dǎo)航系統(tǒng)能為你指明方向，告訴你最近的加油站等。在今后的1到2年中，可能會發(fā)展成只有在你缺少汽油的時候才告訴你最近的加油站信息。于是，你只有在“需要的時候”才會獲得信息，而不需要去主動請求信息。換句話說，我們會從信息檢索轉(zhuǎn)變到信息提供。

問：RSS屬于你說的那種信息推送方式嗎？
答：RSS提醒屬于滿足周期性需求的一種信息提供。而我所說的則是根據(jù)上下文關(guān)系來提供信息。廣告就是一種上下文相關(guān)的信息提供方式。它的關(guān)鍵在于提供的廣告必須和上下文相協(xié)調(diào)。例如，在滑雪雜志中，滑雪板廣告就非常符合雜志的內(nèi)容需求。由于廣告這樣的問題，信息提供作為一門科學(xué)還在不斷的發(fā)展中。

問：信息提供就是你正在致力去做的事情嗎？
答：是的，我正在嘗試去理解信息提供形成的原理——騷擾信息和有用信息之間是有明顯區(qū)分的。我們也希望用戶可以在此過程中扮演自己的角色。你必須理解上下文環(huán)境、用戶以及社會影響。如果我們知道其他像你這樣的人都在做什么，那么對于這些用戶群，我們有時就可以從信息檢索轉(zhuǎn)變到信息提供了。但是，我們?nèi)匀粵]有信息提供的理論，也沒有一種可靠的模型。這完全是一個空白的領(lǐng)域。我們不太可能在短期內(nèi)就可以看到成果，但是，他們代表下一階段的發(fā)展方向。

事實上，我們對于某些上下文環(huán)境已經(jīng)做的不錯，例如，電子商務(wù)網(wǎng)站。假定你去一個在線旅游網(wǎng)站，搜索一下，你可以找到天氣好壞的信息，會告訴你有哪些酒店可以住宿，有什么樣的活動可以參加，等等。這就是一個關(guān)于信息提供的例子。但是，在其它沒有這樣緊密上下文關(guān)系的領(lǐng)域，我們?nèi)孕枰Α?

實質(zhì)上，我們正在把用戶查詢的平均單詞數(shù)由2.7個逐漸降到0。這是如何做到呢？有個有趣的關(guān)于在線購物的呆伯特漫畫（Delbert），不再是傳統(tǒng)的一次點擊購物，而是有了不需要任何點擊的購物方式。如果你拒絕的速度不夠快，恐怕呆伯特已經(jīng)把商品發(fā)給你了！這如同變戲法一樣，在幕布后面藏有很多魔法，你需要好的用戶界面來把它藏起來；這是一個不錯的研究方向。

不久前，Andrei Broder（雅虎研究團隊成員及新興搜索技術(shù)副總裁）花了一個下午的時間和我們談了他在搜索行業(yè)數(shù)十年的歷史以及他未來將要進行的項目。最后，作為訪談的結(jié)束，Andrei回答了雅虎搜索日志的讀者們提出的一些問題。

問：很多人都在問，你如何看待發(fā)生在AltaVista身上的事？
答：AltaVista遇到了可以說是最壞的時機；它是帶著巨大的技術(shù)優(yōu)勢起步的，但是卻沒有足以維持它的商業(yè)模式，最終失去了它在早期核心搜索領(lǐng)域建立起的領(lǐng)先地位。

問：有一位讀者的問題是關(guān)于你的分類學(xué)論文的，你能談?wù)勥@篇文章嗎？
答：在那篇論文中，我談到了搜索的三個階段，就如同我以前所提到的。網(wǎng)絡(luò)搜索誕生于上世紀90年代中早期，完全是對傳統(tǒng)信息檢索模式的擴展。當(dāng)時，人們?nèi)耘f在努力尋找讓傳統(tǒng)信息檢索模式能適應(yīng)大規(guī)?；ヂ?lián)網(wǎng)的最佳方法：布爾模型，隨機模型，等等。第二個階段，在上世紀90年代后期，是關(guān)于元數(shù)據(jù)的。超鏈接，標簽，點擊數(shù)據(jù)，各種形式的元數(shù)據(jù)類別。（通過）互聯(lián)網(wǎng)的結(jié)構(gòu)。但是，本質(zhì)上這些方法仍然還是靠句法結(jié)構(gòu)，基本上是用單詞來匹配文本。并沒有真正去理解文本的含義。第三個階段，還處在不斷發(fā)展中，是基于文本語義和分析的，我們試圖去理解用戶的查詢到底想要表達什么。這就是論文的概述?，F(xiàn)在，通過對用戶查詢詞的理解已經(jīng)推導(dǎo)了很多信息和新的產(chǎn)品，如雅虎的快捷展現(xiàn)（Yahoo! Shortcuts）。語義，快捷展現(xiàn)，本地搜索，都是方興未艾?？瓷先ィ恼庐?dāng)時正確地預(yù)測了下一階段的發(fā)展是語義搜索。當(dāng)然，如果現(xiàn)在去補充我的論文的話，我會寫上第四代搜索引擎：信息提供。

問：你是如何看待博客搜索的？為什么它的結(jié)果并不盡人意?
答：博客搜索是很困難的。一般來說，如果你看看網(wǎng)頁搜索，幫助最大的是元數(shù)據(jù)，鏈接文字、鏈接、網(wǎng)絡(luò)結(jié)構(gòu)圖的分析，等等。對于博客文章來說，我們只有很少有用的元數(shù)據(jù)。即使你從博客中獲取了一些元數(shù)據(jù)，你也會發(fā)現(xiàn)這些數(shù)據(jù)通常是錯誤的，或者你無法信任它的正確性，于是你就很難從元數(shù)據(jù)那里獲得幫助。

此外，博客文章也通常不具備上下文關(guān)系。很多的博客文章本身不獨立，上下文關(guān)系都在博客文章之外。即使是人看到這些博客文章都會不知所云。我不確信在這方面我們會有多少進展（但是申明一下，這不是我關(guān)注的領(lǐng)域！）

問：最后，是一些關(guān)于垃圾信息（Spam）的問題。
答：垃圾信息制造者們試圖干擾我們搜索引擎所用到各種信息參數(shù)。我們不僅得當(dāng)心鏈接型作弊、虛假站點作弊等，還得當(dāng)心對查詢?nèi)罩疽约捌渌舾行畔⒌奈廴?。另一方面，垃圾信息是有?jīng)濟利益的，人們以為作弊者只是在開玩笑而沒有獲得好處，其實不然。垃圾信息是經(jīng)濟驅(qū)動的，而我們想做得就是提高作弊的難度以使得制造垃圾信息無錢可賺。隨著搜索引擎提供更加個性化的用戶體驗，搜索的社區(qū)化因素越來越重要?，F(xiàn)在還不清楚這種變化對垃圾信息的影響——開發(fā)出行為像人一樣的抓取機器人（robots）程序是很困難的，這或許正是意義所在，因為搜索的社區(qū)化對垃圾信息極為排斥。