蜘蛛會不會抓取百度推廣鏈接?今日發(fā)現(xiàn)百度統(tǒng)計(jì)的SEO建議要求修改百度推廣鏈接后面的谷歌分析參數(shù),說是“在靜態(tài)頁面上使用動態(tài)參數(shù),會造成spider多次和重復(fù)抓取”。
但是推廣鏈接并不是24小時(shí)都存在的,百度蜘蛛是否真的會抓取推廣鏈接?
自己解決了。
查看了下百度首頁的robots.txt,發(fā)現(xiàn)百度禁止了蜘蛛抓取百度……
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
所以推廣鏈接是不會被百度蜘蛛抓取到的。
【 微信掃一掃 】