Robots協(xié)議（蜘蛛人協(xié)議、機(jī)器人協(xié)議）告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

什么是robots.txt文件?

robots.txt文件是每一個(gè)搜索引擎蜘蛛到你的網(wǎng)站之后要尋找和訪問(wèn)的第一個(gè)文件，robots.txt是你對(duì)搜索引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。這下知道這個(gè)文件對(duì)于網(wǎng)站的重要性了吧。

robots.txt文件有什么具體作用?

1、屏蔽網(wǎng)站內(nèi)的死鏈接。(網(wǎng)站改版后出現(xiàn)的死鏈、網(wǎng)站被攻擊時(shí)來(lái)不及刪除的目錄文件和鏈接)

2、屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁(yè)面。

3、阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。(例如網(wǎng)站后臺(tái)的登陸地址)

robots.txt文件怎樣寫(xiě)?

亞網(wǎng)互聯(lián)小編首先先給大家介紹幾個(gè)robots中用到的名詞：

（1）User-agent：意思是定義搜索引擎類型

因?yàn)樗阉饕嬗泻脦追N有：百度蜘蛛：Baiduspider;谷歌蜘蛛：Googlebot;360蜘蛛：360Spider;SOSO蜘蛛：Sosospider;有道蜘蛛：YoudaoBot;搜狗蜘蛛：Sogou News Spider

一般沒(méi)有特殊要求的話，正確寫(xiě)法是：User-agent: * 意思是允許所有搜索引擎來(lái)抓取。這是robots.txt文件中第一行的寫(xiě)法。

（2）Disallow：意思是定義禁止抓取的地址

就是禁止蜘蛛抓取的地址，在我們的網(wǎng)站是靜態(tài)或偽靜態(tài)的時(shí)候一般網(wǎng)站要禁止蜘蛛抓取動(dòng)態(tài)路徑(?)、.js、后臺(tái)的文件等一些不想讓蜘蛛抓取的文件。它的正確的寫(xiě)法如下：

Disallow: / 禁止蜘蛛抓取整站(一定不能這么寫(xiě)，這樣會(huì)讓所有搜索引擎不來(lái)抓取你的網(wǎng)站內(nèi)容)

Disallow: /wp-admin/ 禁止抓取網(wǎng)站中帶wp-admin的文件夾。

Disallow: /page/ 禁止抓取網(wǎng)站中帶page的文件夾。

Disallow: /*?* 禁止抓取網(wǎng)站中的所有動(dòng)態(tài)路徑。

Disallow: /.js$ 禁止抓取網(wǎng)站中的所有帶.js的路徑。

Disallow: /*.jpg$ 禁止抓取網(wǎng)站中所有jpg圖片

(3)、Allow：意思是定義允許抓取收錄地址

這個(gè)就不需要多說(shuō)了就是允許的意思，在robots文件中不寫(xiě)Allow意思就是默認(rèn)的允許，因此大家沒(méi)必要寫(xiě)上。

(4)、常用的一些語(yǔ)法符號(hào)

/ 如果只是一個(gè)單個(gè)/,搜索引擎會(huì)認(rèn)為是根目錄

* 是所有的意思;例如：Disallow: /*.jpg$ 是禁止抓取網(wǎng)站中所有jpg圖片

$ 是結(jié)束符

以上內(nèi)容就是深圳網(wǎng)站建設(shè)小編為大家分享的robots.txt文件的定義、作用以及正確的寫(xiě)法，這是SEO一項(xiàng)非常重要的優(yōu)化操作，大家一定要熟練掌握!

如沒(méi)特殊注明,文章均為深圳網(wǎng)站建設(shè)原創(chuàng),轉(zhuǎn)載請(qǐng)注明:亞網(wǎng)互聯(lián)www.sdstglx.com