實時數(shù)據(jù)流集群處理系統(tǒng)可靠備份方案的研究與實現(xiàn).pdf

1、近年來，數(shù)據(jù)以大容量，連續(xù)的流的形式出現(xiàn)在應用程序中引起了人們極大的關注，這些應用程序包括金融市場監(jiān)控、網(wǎng)絡監(jiān)控、移動對象跟蹤、資產(chǎn)跟蹤、入侵檢測和生態(tài)系統(tǒng)監(jiān)測等，由于它們監(jiān)控的都是實時事件，結果值隨著時間推移而迅速發(fā)生改變，因此，低延遲處理是一個關鍵的要求。數(shù)據(jù)流處理系統(tǒng)能夠高效的實現(xiàn)上述應用。目前，很多數(shù)據(jù)流處理系統(tǒng)都采用面向集群處理，這是因為很多應用本身就涉及到地理上分散的數(shù)據(jù)源，并且應用中使用更多的服務器能夠更好的提高系統(tǒng)處理能

2、力。但是越多的服務器和通信資源，導致更高的失效機率。在流處理系統(tǒng)中，失效或故障將產(chǎn)生處理延遲，更糟的是，失效可能會導致產(chǎn)生正確結果的至關重要的數(shù)據(jù)丟失。因此，數(shù)據(jù)流集群處理系統(tǒng)的可靠備份問題是目前數(shù)據(jù)流系統(tǒng)研究的熱點和難點，同時也是一個富有挑戰(zhàn)性的課題。
　　本文主要研究并設計了一種新型的基于檢查點的高可靠備份方案，通過并行恢復方法滿足了數(shù)據(jù)流集群處理系統(tǒng)高可靠的需求。首先研究了主流的三種備份恢復方法，同時從恢復速度、CPU和帶寬

3、利用率以及它們相互之間的關系進行了比較。然后，在集群處理系統(tǒng)中采用并行恢復模式，提出優(yōu)先基于操作盒負載的檢查點單元形成策略和備份重新分配算法，從系統(tǒng)全局的角度將每臺服務器上的檢查點單元均衡地備份在多臺服務器上，執(zhí)行并行恢復。最后，在系統(tǒng)運行時階段，提出基于檢查點任務拆分與綁定策略的動態(tài)自適應調(diào)度算法，通過合理正確的調(diào)度算法，最小化系統(tǒng)恢復時間，減少故障造成的處理延遲，提高系統(tǒng)性能。綜上所述，針對數(shù)據(jù)流集群處理系統(tǒng)中可靠備份方案的關鍵問題