網(wǎng)絡(luò)爬蟲(chóng)

1、網(wǎng)絡(luò)爬蟲(chóng)百科名片百科名片網(wǎng)絡(luò)爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲(chóng)。目錄概述爬蟲(chóng)技術(shù)研究綜述網(wǎng)頁(yè)搜索策略網(wǎng)頁(yè)分析算法補(bǔ)充概述爬蟲(chóng)技術(shù)研究綜述網(wǎng)頁(yè)搜索策略網(wǎng)頁(yè)分析算法補(bǔ)充展開(kāi)編輯本段概述引言隨著網(wǎng)絡(luò)的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨

2、大的挑戰(zhàn)。搜索引擎(SearchEngine)，例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問(wèn)萬(wàn)維（1）預(yù)先給定的初始抓取種子樣本；（2）預(yù)先給定的網(wǎng)頁(yè)分類(lèi)目錄和與分類(lèi)目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類(lèi)結(jié)構(gòu)等；（3）通過(guò)用戶行為確定的抓取目標(biāo)樣例，分為：a)用戶瀏覽過(guò)程中顯示標(biāo)注的抓取樣本；b)通過(guò)用戶日志挖掘得到訪問(wèn)模式及相關(guān)樣本。其中，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內(nèi)容特

3、征，也可以是網(wǎng)頁(yè)的鏈接結(jié)構(gòu)特征，等等?，F(xiàn)有的聚焦爬蟲(chóng)對(duì)抓取目標(biāo)的描述或定義可以分為基于目標(biāo)網(wǎng)頁(yè)特征，基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念三種?；谀繕?biāo)網(wǎng)頁(yè)特征的爬蟲(chóng)所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁(yè)。具體的方法根據(jù)種子樣本的獲取方式可以分為：（1）預(yù)先給定的初始抓取種子樣本；（2）預(yù)先給定的網(wǎng)頁(yè)分類(lèi)目錄和與分類(lèi)目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類(lèi)結(jié)構(gòu)等；（3）通過(guò)用戶行為確定的抓取目標(biāo)樣例。其中，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內(nèi)容特征，也可以是

4、網(wǎng)頁(yè)的鏈接結(jié)構(gòu)特征，等等。作者：齊保元200611010:11編輯本段爬蟲(chóng)技術(shù)研究綜述基于目標(biāo)數(shù)據(jù)模式的爬蟲(chóng)針對(duì)的是網(wǎng)頁(yè)上的數(shù)據(jù)，所抓取的數(shù)據(jù)一般要符合一定的模式，或者可以轉(zhuǎn)化或映射為目標(biāo)數(shù)據(jù)模式。另一種描述方式是建立目標(biāo)領(lǐng)域的本體或詞典，用于從語(yǔ)義角度分析不同特征在某一主題中的重要程度。編輯本段網(wǎng)頁(yè)搜索策略網(wǎng)頁(yè)的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。深度優(yōu)先在很多情況下會(huì)導(dǎo)致爬蟲(chóng)的陷入(trapped)問(wèn)題，目前常見(jiàn)的是廣

5、度優(yōu)先和最佳優(yōu)先方法。廣度優(yōu)先搜索策略廣度優(yōu)先搜索策略是指在抓取過(guò)程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。該算法的設(shè)計(jì)和實(shí)現(xiàn)相對(duì)簡(jiǎn)單。在目前為覆蓋盡可能多的網(wǎng)頁(yè)，一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲(chóng)中。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁(yè)具有主題相關(guān)性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁(yè)過(guò)濾技術(shù)結(jié)合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁(yè)，再將其中無(wú)關(guān)的網(wǎng)頁(yè)過(guò)濾掉。這些方法的缺