基于定位重復(fù)結(jié)構(gòu)算法的DeepWeb數(shù)據(jù)抽取.pdf

1、越來(lái)越多的研究者將精力投入到Deep Web的信息查詢(xún)中去，而目前DeepWeb數(shù)據(jù)抽取方面的主流模式是用人工參與的方式將每一類(lèi)網(wǎng)頁(yè)解析成tag樹(shù)的結(jié)構(gòu)并找出其中有用信息所在的模塊作為標(biāo)尺然后抽取此類(lèi)網(wǎng)頁(yè)tag樹(shù)中的同位置節(jié)點(diǎn)中的內(nèi)容，但是這種抽取方式也有一定的弊端，由于HTML頁(yè)面的結(jié)構(gòu)自由和形式的多樣性使得網(wǎng)絡(luò)上HTML頁(yè)面的結(jié)構(gòu)類(lèi)型非常繁多復(fù)雜，各種類(lèi)型的頁(yè)面都需要做出那一類(lèi)型的標(biāo)準(zhǔn)樹(shù)結(jié)構(gòu)會(huì)導(dǎo)致數(shù)據(jù)抽取過(guò)程中手工成分非常繁多，因此

2、如何有效的減少數(shù)據(jù)抽取中的手工參與的成份成為了一件比較有挑戰(zhàn)性的任務(wù)。
　　 本文提出了一種新的數(shù)據(jù)抽取的方式，即自動(dòng)查找tag樹(shù)中的最大重復(fù)結(jié)構(gòu)來(lái)解決這一問(wèn)題。在本文中通過(guò)將數(shù)據(jù)挖掘中的經(jīng)典算法Apriori算法引入到Deepweb數(shù)據(jù)抽取系統(tǒng)中進(jìn)行一些實(shí)驗(yàn)性的工作，從得到的實(shí)驗(yàn)結(jié)果以及相關(guān)的效率趨勢(shì)分析來(lái)驗(yàn)證減少Deepweb數(shù)據(jù)抽取中人工參與的可行性。
　　 本文首先將HTML頁(yè)面轉(zhuǎn)換成符合W3C標(biāo)準(zhǔn)的XHTML格