11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
蜘蛛靠鏈接來爬行互聯(lián)網(wǎng),但不是漫無目的的爬,那樣爬行的效率是十分的低。當(dāng)然搜索引擎會搜集很多網(wǎng)站的url,而爬行前先讀取數(shù)據(jù)庫的已有的URL,然后根據(jù)網(wǎng)站權(quán)重、更新、內(nèi)容、外部鏈接等按照廣度優(yōu)先或深度優(yōu)先進(jìn)行爬行。