基于詞跨度的網頁關鍵詞提取方法研究.pdf

1、關鍵詞常用于標引論文主要內容，信息檢索系統(tǒng)利用關鍵詞搜集以供讀者查閱。而當今社會是互聯(lián)網時代，網頁上的信息量巨大，網絡應用也越來越豐富，關鍵詞的重要性更加突出。
　　國外對于網頁關鍵詞提取的研究起步較早，美國 IBM公司的 H.P.Luhn首先提出關鍵詞自動標引，時至今天，已有近60年的發(fā)展歷程。ADM公司的Turney首次將遺傳算法和C4.5決策樹機器學習方法應用在關鍵短語的自動提取。網頁關鍵詞自動提取方法的研究圍繞網頁的特殊性

2、，依據網頁跟普通文本的不同，充分利用網頁自帶的各種標記對網頁關鍵詞進行自動提取。
　　常用的關鍵詞提取算法有基于統(tǒng)計的方法、基于語義的方法和基于詞語網絡的方法，本文在已有算法的基礎上給出了一種基于詞跨度的網頁關鍵詞提取方法，依靠網頁面的特殊性，充分利用網頁中的各種標識對文本進行分析，然后利用詞語在文章內容中第一次出現(xiàn)的位置和最后一次出現(xiàn)的位置以及該詞在文中出現(xiàn)過的段落數(shù)與全文段落總數(shù)的比值等因素，改進了算法的權重計算公式，有利于降

3、低局部關鍵詞對提取結果的影響，同時本文算法還充分考慮了詞頻因子，詞性因子，詞位置因子，詞長因子，是否出現(xiàn)在提示詞之后等多種特征因子，通過對這些因子進行權重計算提取關鍵詞。另外，本算法所生成的高頻組合詞的應用也有利于提高算法的精確度。傳統(tǒng)的算法由于考慮的因素較少，考慮的特征項也不多，因而整體效果不如本文的算法。實驗結果表明：與傳統(tǒng)算法相比，本文的算法在召回率和準確率上有了明顯的提高，且隨著測試集數(shù)量的增多，測試效果越明細。同時對于不同長度