《隨意修改robots.txt 不利于搜索引擎收錄你的站》文章已經(jīng)歸檔，站長(zhǎng)之家不再展示相關(guān)內(nèi)容，下文是站長(zhǎng)之家的自動(dòng)化寫作機(jī)器人，通過算法提取的文章重點(diǎn)內(nèi)容。這只AI還很年輕，歡迎聯(lián)系我們幫它成長(zhǎng)：
Robots.txt是用來告訴bot的訪問權(quán)限，因Robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，通常大多數(shù)搜索引擎會(huì)識(shí)別這個(gè)元數(shù)據(jù)，不索引這個(gè)頁(yè)面，以及這個(gè)頁(yè)面的鏈出頁(yè)面，使用方法是將robots.txt文件放在網(wǎng)站根目錄下...
經(jīng)本人的試驗(yàn)，對(duì)于一個(gè)遵守Robots.txt協(xié)議的蜘蛛，如果你修改Robots.txt過于頻繁，可直接導(dǎo)致將你的站“冷”處理！本人的站就已進(jìn)入該黑洞了，之前百由于不想讓百度蜘蛛收錄商品列表的老頁(yè)面，就直接B了百度蜘蛛訪問此頁(yè)，過了約3天，效果果真明顯，小CO還暗喜這蜘蛛真聽話，于是乎又想到網(wǎng)站內(nèi)之前使用的幾個(gè)頁(yè)面...
很多站長(zhǎng)放了robots.txt后，就發(fā)現(xiàn)百度很少收錄自己的內(nèi)頁(yè)，很可能就是這個(gè)原因...
......
本文由站長(zhǎng)之家用戶“Chinaz用戶投稿”投稿，本平臺(tái)僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時(shí)間超過平臺(tái)更新維護(hù)時(shí)間，為了保證文章信息的及時(shí)性，內(nèi)容觀點(diǎn)的準(zhǔn)確性，平臺(tái)將不提供完整的內(nèi)容展現(xiàn)，本頁(yè)面內(nèi)容僅為平臺(tái)搜索索引使用。需閱讀完整內(nèi)容的用戶，請(qǐng)聯(lián)系作者獲取原文。
（舉報(bào)）