基于維諾圖的不均衡數據集分類研究.pdf

1、數據分類作為數據挖掘中備受關注的一個研究方向，已經有了許多研究成果，這些成果大多在數據集中樣本分布均衡的條件下能夠取得很好的結果，但是在實際場景中，常見的需要被分類的數據集在分布狀態(tài)上普遍都有不均衡的特點。所謂不均衡，指的是在整個數據集中，某個類別占的比例相對比較大，其他類別占的比例相對較小，占比大的樣本實例一般劃分為多數類，占比小的樣本實例則劃分為少數類。在類別比例不均衡的數據集里，少數類樣本相對決策邊界的分布具有差異性，越靠近決策邊

2、界被錯分的可能性越大，基于此，本文提出通過數據集構造維諾圖，按照少數類樣本相對于決策邊界的分布差異，賦予每個少數類樣本不同的權重，計算權重符合規(guī)則的樣本的采樣概率，隨機選取樣本合成人工少數類?；诰S諾圖的不均衡數據集分類主要提出以下改進：
　　1.新的邊界識別方法。不均衡數據集中越靠近決策邊界的少數類樣本分類意義越高，傳統(tǒng)的分類算法并未對這種差異性做出比較妥善的處理。本文通過構造維諾圖找到分隔少數類與多數類樣本之間的維諾邊作為近似

3、決策邊界集合，計算每個少數類樣本到邊界集的最小距離作為少數類樣本的邊界度；
　　2.基于邊界度的采樣策略。根據邊界樣本集確定新的邊界，利用新的邊界對邊界度進行一定的變換后代入以自然常數e為底的指數函數，利用所有樣本的函數值進行歸一化，最終得到每個少數類樣本的采樣概率，然后隨機選擇樣本進行過采樣。上述兩步稱之為V-synthⅠ算法。
　　3.處理局部不均衡。上述算法使用樣本到決策邊界的距離作為權重來劃分邊界樣本，這種方式更靈活

4、、準確。但是只根據少數類樣本的分布差異計算采樣概率，沒有考慮多數類分布對少數類的影響，可能出現數據集整體均衡而局部不均衡的現象。為此，在V-synthⅠ算法的基礎上使用層次聚類中的凝聚類方法對多數類聚類，形成若干個簇，計算每個簇中多數類的分布密度以及多數類簇對少數類樣本點的影響因子，更新樣本的采樣概率。該算法稱之為V-synthⅡ算法。
　　通過人為構造特殊分布的數據集和選取分類問題中常用的UCI數據集用于實驗分析，利用上述的兩種