傳統(tǒng)搜索引擎的工作原理:
1)從互聯(lián)網(wǎng)上抓取網(wǎng)頁
利用能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的Spider系統(tǒng)程序,自動訪問互聯(lián)網(wǎng),并沿著任何網(wǎng)頁中的所有URL爬到其它網(wǎng)頁,重復這過程,并把爬過的所有網(wǎng)頁收
集回來。
2) 建立索引數(shù)據(jù)庫
由分析索引系統(tǒng)程序對收集回來的網(wǎng)頁進行分析,提取相關網(wǎng)頁信息(包括網(wǎng)頁所在URL、編碼類型、頁面內容包含的所有關鍵詞、關鍵詞位置、生成時間、大
小、與其它網(wǎng)頁的鏈接關系等),根據(jù)一定的相關度算法進行大量復雜計算,得到每一個網(wǎng)頁針對頁面文字中及超鏈中每一個關鍵詞的相關度(或重要性),然后用
這些相關信息建立網(wǎng)頁索引數(shù)據(jù)庫。
3)在索引數(shù)據(jù)庫中搜索排序
當用戶輸入關鍵詞搜索后,由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網(wǎng)頁。因為所有相關網(wǎng)頁針對該關鍵詞的相關度早已算好,所以只需按
照現(xiàn)成的相關度數(shù)值排序,相關度越高,排名越靠前。最后,由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。
傳統(tǒng)的搜索引擎一般使用兩種技術來實現(xiàn)信息檢索:
1.使用網(wǎng)站分類技術實現(xiàn)目錄檢索,即把網(wǎng)站進行樹狀的歸類,登陸的網(wǎng)站屬于至少一個類別,對每個站點都有簡略的描述。Yahoo采用了這種方法。為了分
類科學準確,需要有一支各科人才組成的維護隊伍。
2.使用全文檢索技術。全文檢索技術處理的對象是文本,它能夠對大量文檔建立由字(詞)到文檔的倒排索引,在此基礎上,用戶使用關鍵詞來對文檔進行查詢
時,系統(tǒng)將給用戶返回該關鍵詞的網(wǎng)頁。
posted on 2010-04-02 09:58
Ying-er 閱讀(317)
評論(0) 編輯 收藏