數據清洗解決方案及其元數據管理.pdf

1、本文針對Intel的DSS工具Cockpit目前存在少量數據特別是產品定義數據不完全干凈，就數據清洗的技術關鍵，從元數據管理和在該元數據模型基礎上的開發(fā)實踐兩個方面，提出了基于元數據管理的數據清洗解決方案。基元數據管理的設計思想包括：元數據是數據的數據, 它描述了數據的內容, 質量、情況和其他特性。在本文的元數據模型中，把知識元數據分為邏輯和信息兩大類。邏輯是一種規(guī)則，是加工信息的具體方法，由設計人員進行具體設計和實現(xiàn)。信息是對現(xiàn)實世

2、界中具體事物的抽象反映，可以由程序自動更新。具體Cockpit數據清洗過程的實現(xiàn)采用了上述基于元數據管理的模型，包括對Cockpit數據清洗過程中的業(yè)務邏輯進行分析，設計Cockpit的數據清洗流程，實現(xiàn)數據清洗算法。該流程和算法實現(xiàn)了異常數據的判斷規(guī)則，自動對數據進行檢驗，對異常數據進行分類，用簡單的數據挖掘算法實現(xiàn)對數據字典自動更新，并以Email形式自動通知相關人員，最終達到增強數據清洗能力，提供更準確的數據并簡化維護工作量的目