SEO之搜索引擎爬蟲(chóng)時(shí)間:2009-08-31 來(lái)源:優(yōu)友網(wǎng) 作者:佚名 影響:43人 網(wǎng)絡(luò)營(yíng)銷(xiāo)論壇 我要投稿
一、什么是搜索引擎爬蟲(chóng)程序
網(wǎng)絡(luò)爬蟲(chóng)(又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者)，是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲(chóng)。
這些處理被稱(chēng)為網(wǎng)絡(luò)抓取或者蜘蛛爬行。很多站點(diǎn)，尤其是搜索引擎，都使用爬蟲(chóng)提供最新的數(shù)據(jù)，它主要用于提供它訪(fǎng)問(wèn)過(guò)頁(yè)面的一個(gè)副本，然后，搜索引 擎就可以對(duì)得到的頁(yè)面進(jìn)行索引，以提供快速的訪(fǎng)問(wèn)。蜘蛛也可以在web上用來(lái)自動(dòng)執(zhí)行一些任務(wù)，例如檢查鏈接，確認(rèn)html代碼; 也可以用來(lái)抓取網(wǎng)頁(yè)上某 種特定類(lèi)型信息，例如抓取電子郵件地址(通常用于垃圾郵件)。
一個(gè)網(wǎng)絡(luò)蜘蛛就是一種機(jī)器人，或者軟件代理。大體上，它從一組要訪(fǎng)問(wèn)的URL鏈接開(kāi)始，可以稱(chēng)這些URL為種子。爬蟲(chóng)訪(fǎng)問(wèn)這些鏈接，它辨認(rèn)出這些頁(yè)面的所有超鏈接，然后添加到這個(gè)URL列表，可以稱(chēng)作檢索前沿。這些URL按照一定的策略反復(fù)訪(fǎng)問(wèn)。
二、爬蟲(chóng)程序的種類(lèi)以及分辨
搜索引擎派出他們的爬蟲(chóng)程序去訪(fǎng)問(wèn)、索引網(wǎng)站內(nèi)容，但是由于搜索引擎派爬蟲(chóng)程序來(lái)訪(fǎng)會(huì)在一定程度上影響網(wǎng)站性能。在你的服務(wù)器日志文件中，可見(jiàn)每次 訪(fǎng)問(wèn)的路徑和相應(yīng)的 IP 地址，如果是爬蟲(chóng)程序來(lái)訪(fǎng)， 則user-agent 會(huì)顯示 Googlebot 或MSNBot 等搜索引擎爬蟲(chóng)程序名稱(chēng)，每個(gè)搜索引擎都有自己的user-agent。
三、國(guó)內(nèi)主要的爬蟲(chóng)程序
百度 baidu.com--Baiduspider
谷歌 google.com--Googlebot
雅虎 yahoo.com--Yahoo
有道 yodao.com--YodaoBot
搜搜 soso.com--Sosospider/Sosoimagespider
搜狗 sogou.com--sogou
微軟 msn.com--msnbot
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶(hù)發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
