基于WebService數據上報系統(tǒng)的設計與實現.pdf

1、大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。大數據不是簡單的數據量大，而最重要的是對大數據進行分析，只有通過分析才能獲取更多智能的、深入的、有價值的信息。大數據的具體處理方法很多，整個處理流程可以概括為四步，分別是采集、導入和預處理、統(tǒng)計和分析及數據挖掘，從而為客戶應用在技術上提供可靠、高效的解決方案，為客戶提供精準的營銷數據依據，帶來更大的經濟效益。
　　本文是在一個客戶需求基礎是進行研究的，此客戶是比較

2、典型大數據應用的案例，集團化的數據管理中心，異構化的分支機構，每天都涉及進、銷、存等交易記錄，每個分支機構都是獨立管理系統(tǒng)，集團需要采集到每個機構這些當天交易數據，在公司當前無專網的情況下，如何采集到這些數據，是面臨的重要難題，也是決定項目成敗的關鍵，在此前提下，針對數據上報采集技術難題作為本次研究的重點。數據采集技術受限于網絡環(huán)境，在分析過程中考慮過郵件方式上報，也考慮過ftp服務器方式，也考慮過直接訪問數據庫的方式，這些都存在各種各

3、樣的問題，如自動化程度不高、網絡不穩(wěn)定情況下數據續(xù)傳不完整、數據安全性低等等，最后經過論證采用WebService作為整個系統(tǒng)實現數據交換的技術。此技術可以操作的分布式應用程序，使用HTTP和XML進行通信具有普遍性，另外Web Service可以穿越防火墻，真正的自由通信，而且通過 SOAP協(xié)議實現異地調用，這些都是在現有現狀下最合適的技術選型。介紹了系統(tǒng)需求、系統(tǒng)設計、關鍵技術研究及系統(tǒng)功能實現等，同時本文還對系統(tǒng)的開發(fā)過程、測試方