合肥網(wǎng)絡(luò)公司知識(shí)之ROBOT和蜘蛛

1、先說(shuō)ROBOT和蜘蛛的關(guān)系：

Robot的英文意識(shí)是機(jī)器人，在網(wǎng)站推廣或搜索引擎優(yōu)化SEO中，也常常翻譯成探測(cè)器；它是搜索引擎用來(lái)抓取網(wǎng)頁(yè)的工具，它是一個(gè)軟件或者說(shuō)一系列自動(dòng)程序，不同的搜索引擎給他們自己的探測(cè)器(Robot)起不同的名字；比如百度叫baiduspider 、MSN叫MSNbot、谷歌叫g(shù)ooglebot、Yahoo叫Slurp? (Slurp，中文理解是機(jī)器人吃東西時(shí)發(fā)出的嘖嘖的聲音)。

所以ROBOT和蜘蛛一個(gè)大類與子類，包含與被包含的關(guān)系。

2、再詳細(xì)介紹百度的蜘蛛：

百度用以抓取并收錄互聯(lián)網(wǎng)上數(shù)以億計(jì)的網(wǎng)頁(yè)的程序，就叫做Baiduspider – 百度蜘蛛。它會(huì)不知疲倦地、沒(méi)日沒(méi)夜地在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，并返回到百度的網(wǎng)頁(yè)暫存數(shù)據(jù)庫(kù)里。業(yè)界素有百度蜘蛛一般下午和晚上喜歡來(lái)網(wǎng)站抓取內(nèi)容的流傳，無(wú)從考證。但如果你能真正做到每天某個(gè)時(shí)間點(diǎn)很規(guī)律地更新文章的話，這個(gè)你看不見(jiàn)的“小蜘蛛”就會(huì)在這個(gè)時(shí)間點(diǎn)光臨你的網(wǎng)站。
轉(zhuǎn)載請(qǐng)注明出處 網(wǎng)絡(luò)公司佳達(dá)科技專注于網(wǎng)站推廣 www.baidu0551.cn