有沒有想過，如果我們某個站點不讓百度和google收錄，那怎么辦？
搜索引擎已經(jīng)和我們達成一個約定，如果我們按約定那樣做了，它們就不要收錄。
這個寫約定的的文件命名為:robots.txt。
robots.txt是一個最簡單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁可以收錄，哪些不允許收錄。
關(guān)于robots.txt一般站長需要注意以下幾點：
- 如果你的站點對所有搜索引擎公開，則不用做這個文件或者robots.txt為空就行。
-
必須命名為：robots.txt，都是小寫，robot后面加"s"。
-
robots.txt必須放置在一個站點的根目錄下。如：通過http://www.kuangtao.net/robots.txt 可以成功訪問到，則說明本站的放置正確。
-
一般情況下，robots.txt里只寫著兩個函數(shù)：User-agent和 Disallow。
-
觀察這個頁面并修改為自己的：http://www.kuangtao.net/robots.txt
-
有幾個禁止，就得有幾個Disallow函數(shù)，并分行描述。
-
至少要有一個Disallow函數(shù)，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: / （注：只是差一個斜桿）。
補充說明：
User-agent: * 星號說明允許所有搜索引擎收錄
Disallow: /search.html 說明 http://www.kuangtao.net/search.html 這個頁面禁止搜索引擎抓取。
Disallow: /index.php? 說明類似這樣的頁面http://www.kuangtao.net/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。
www.kuangtao.net 狂淘購物網(wǎng)