蜘蛛為什么會抓取純文本鏈接的URL
2013/9/27 14:22:17 閱讀:1949
發(fā)布者:1949
百度為什么會抓取純文本鏈接的URL呢?今天我們就這個問題來探討下。
1,文本鏈接url地址,百度會發(fā)現(xiàn)他是一個url地址并通過這個地址到相應(yīng)的url地址上去抓取。
2,我們對鏈接是否應(yīng)該傳遞權(quán)重,唯一的判斷標(biāo)準(zhǔn)是:這個鏈接是否用戶or對方網(wǎng)站真心推薦你的網(wǎng)站、這個推薦,是否對用戶有價值。
3,這個鏈接所指向的網(wǎng)站是否包含不友好的內(nèi)容信息。