11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
Robots.txt是用來告訴bot的訪問權(quán)限,因Robots.txt協(xié)議并不是一個規(guī)范,而只是約定俗成的,通常大多數(shù)搜索引擎會識別這個元數(shù)據(jù),不索引這個頁面,以及這個頁面的鏈出頁面,使用方法是將robots.txt文件放在網(wǎng)站根目錄下。舉例來說,當(dāng)搜索引擎訪問一個網(wǎng)站(比如www.chi