《搜索引擎統(tǒng)一Robots文件標(biāo)準(zhǔn)》文章已經(jīng)歸檔，站長之家不再展示相關(guān)內(nèi)容，下文是站長之家的自動化寫作機(jī)器人，通過算法提取的文章重點(diǎn)內(nèi)容。這只AI還很年輕，歡迎聯(lián)系我們幫它成長：

Google，雅虎，微軟各自在自己的官方博客上發(fā)了一篇帖子，公布三家都支持的robots.txt文件及Meta標(biāo)簽的標(biāo)準(zhǔn)，以及一些各自特有的標(biāo)準(zhǔn)...

三家都支持的robots文件記錄包括：...

Disallow-告訴蜘蛛不要抓取某些文件或目錄...

如下面代碼將使蜘蛛不抓取ab目錄下其他文件，而只抓取其中cd下的文件：...

$通配符-匹配URL結(jié)尾的字符...

如下面一段代碼將禁止蜘蛛抓取所有htm文件：...

Robots-nocontent-告訴蜘蛛被標(biāo)注的部分html不是網(wǎng)頁內(nèi)容的一部分，或者換個角度，告訴蜘蛛哪些部分是頁面的主要內(nèi)容（想被檢索的內(nèi)容）...

但抓取robots.txt文件時卻發(fā)生超時之類的錯誤，可能導(dǎo)致搜索引擎不收錄網(wǎng)站，因為蜘蛛不知道robots.txt文件是否存在或者里面有什么內(nèi)容，這與確認(rèn)文件不存在是不一樣的...

......