Robots.txt文件雖然只是一個純文本文件，但它就像網(wǎng)站地圖一樣，給搜索引擎指明道路，當蜘蛛搜索一個站點時，它首先爬行來檢查該網(wǎng)站的根目錄下是否存在Robots.txt文件。如果存在的話，搜索引擎會按照該文件的內(nèi)容來確定訪問范圍，如果該文件不存在的話，那么搜索引擎就會沿著鏈接來抓取。程序員在設(shè)置Robots.txt文件的時候都了解到它給我們網(wǎng)站帶來的好處了嗎？

第一，Robots.txt文件大大節(jié)省服務器寬帶
我們都知道像email retrievers、image strippers這類搜索引擎都耗用大量寬帶，而且對網(wǎng)站沒有什么太大的意義，而通過Robots.txt就可以制止不必要的爬行工作，如果你的網(wǎng)站是圖片站的話，沒有設(shè)置好Robots.txt文件的話，就會浪費大量的服務器寬帶。

第二、方便搜索引擎工作
如果你的網(wǎng)站內(nèi)容豐富，頁面很多，設(shè)置Robots.txt文件更為重要，比如你有個網(wǎng)站，整個站有50多個G，打開頁面可能會比較慢，如果不配置好Robots.txt文件的話，蜘蛛爬行工作就會很費力，而且如果太多的蜘蛛爬行，甚至會影響你網(wǎng)站的正常訪問。

第三、Robots.txt文件可以制止搜索引擎索引頁面
你可以通過Robots.txt文件對你的網(wǎng)站非公開頁面進行制止蜘蛛爬行，如果你的網(wǎng)站后臺程序、管理程序很重要不想讓別人看到、那么你可以通過Robots.txt進行設(shè)置，事實上，對于某些在運行中產(chǎn)生臨時頁面的網(wǎng)站來說，如果沒有配置Robots.txt文件的話，搜索引擎甚至會索引那些臨時文件。

第四、Robots.txt對網(wǎng)站地圖鏈接重要性
如果我們把自己的網(wǎng)站地圖鏈接放在robots.txt文件里，那么我們每天就不用到各個搜索引擎的站長工具或者相似的站長部分去提交自己的sitemap文件，可以減少我們的一部分工作量，何樂而不為呢？各大搜索引擎都發(fā)布了對網(wǎng)站地圖新的支持方式，就是在robots.txt文件里直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google，Yahoo，而中文搜索引擎公司，顯然不在這個圈子內(nèi)。