什么是搜索引擎蜘蛛(搜索引擎技巧)
什么是搜索引擎蜘蛛?
搜索引擎蜘蛛簡(jiǎn)稱(chēng)網(wǎng)絡(luò)爬蟲(chóng)(webcrawler),網(wǎng)絡(luò)爬蟲(chóng)(又被稱(chēng)為網(wǎng)頁(yè)蜘蛛,網(wǎng)絡(luò)機(jī)器人,在FOAF社區(qū)中間,更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者),是一種按照一定的規(guī)則,自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。
我們可以將互聯(lián)網(wǎng)理解成一張巨大的“蜘蛛網(wǎng)”,而搜索引擎蜘蛛是類(lèi)似實(shí)質(zhì)的“機(jī)器人”。蜘蛛的主要任務(wù)就是在巨大的蜘蛛網(wǎng)(互聯(lián)網(wǎng))中瀏覽信息,然后把這些信息都抓取到搜索引擎的服務(wù)器上,然后建立索引庫(kù)。就好比機(jī)器人瀏覽我們的網(wǎng)站,然后把內(nèi)容保存到自己的電腦上。
每個(gè)搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬蟲(chóng)、搜索引擎robot。
國(guó)內(nèi)各大搜索引擎蜘蛛名稱(chēng):
百度:百度spider
谷歌:googlebot
搜狗:sogou spider
搜搜:Sosospider
360搜索:360Spider
有道:YodaoBot
雅虎:Yahoo Slurp
必應(yīng):msnbot
Msn:msnbot
以上就是什么是搜索引擎蜘蛛的詳細(xì)內(nèi)容,更多請(qǐng)關(guān)注風(fēng)君子博客其它相關(guān)文章!
總結(jié)
以上是生活随笔為你收集整理的什么是搜索引擎蜘蛛(搜索引擎技巧)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: workaround for error
- 下一篇: 金庸正版授权手游《天龙八部 2:飞龙战天