Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

顯示在搜索引擎結(jié)果下的鏈接，意在引導(dǎo)用戶到網(wǎng)站的子頁(yè)面。

他們出現(xiàn)在品牌自然搜索和付費(fèi)服務(wù)提供商。你可以通過使用谷歌/百度廣告在付費(fèi)網(wǎng)頁(yè)中建立網(wǎng)站鏈接。

通過品牌自然搜索則是另外一種情況，該過程是自動(dòng)化的，因此你不能影響是否有站點(diǎn)鏈接、鏈接的數(shù)量以及鏈接到的頁(yè)面。你所能做的就是確保網(wǎng)站優(yōu)化能夠提供良好的用戶體驗(yàn)。

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。也叫機(jī)器人排除標(biāo)準(zhǔn)（Robots Exclusion Standard），網(wǎng)站使用的文本文件，用于與網(wǎng)絡(luò)機(jī)器人（最常見的SE機(jī)器人）進(jìn)行通信，以處理網(wǎng)站的每個(gè)頁(yè)面。在這里，您可以將某些頁(yè)面設(shè)置為漫游器的禁區(qū)，并僅掃描最有用的內(nèi)容。