數(shù)據(jù)庫集群系統(tǒng)的關鍵技術研究.pdf

1、目前大型DBMS在海量數(shù)據(jù)的OLTP商業(yè)應用中已成為制約整個信息系統(tǒng)性能和效率提升的瓶頸，傳統(tǒng)的提高單機的硬件配置和優(yōu)化數(shù)據(jù)庫系統(tǒng)性能參數(shù)的方法也只能有限地提高系統(tǒng)性能。因此，基于多機并行處理的數(shù)據(jù)庫集群成為人們關注的熱點，它以高性能、高可用性和高可擴展性為目標，在高性能計算、海量數(shù)據(jù)的存儲和處理、Web服務、電子商務等領域有著廣泛的應用。 圍繞數(shù)據(jù)庫集群系統(tǒng)的并行性能，主要從系統(tǒng)結構、全局事務的并發(fā)控制、負載平衡以及數(shù)據(jù)分布等

2、方面解決了集群系統(tǒng)中的一些關鍵問題。 為了將集群技術應用于數(shù)據(jù)庫系統(tǒng)以實現(xiàn)大規(guī)模和高并行性能的數(shù)據(jù)庫集群系統(tǒng)，在無共享的數(shù)據(jù)庫集群基礎上設計了一種通用的、具有高并行性能的中間件系統(tǒng)，提供單一系統(tǒng)映像結構，采用元數(shù)據(jù)管理、多線索機制、并行事務預處理等技術，實現(xiàn)了數(shù)據(jù)庫集群的協(xié)作與并行處理，能滿足對性能要求較高的OLTP商業(yè)應用，具有理想的性價比。該系統(tǒng)既保持了集群中局部數(shù)據(jù)庫站點的自治性，又提高了數(shù)據(jù)庫集群系統(tǒng)的并行性能，解決了大

3、型DBMS的性能瓶頸。 在并發(fā)控制方面，為了保證集群系統(tǒng)中全局事務的并發(fā)正確執(zhí)行，采用基于謂詞級的多級粒度沖突檢測機制，并通過檢測謂詞沖突圖中是否存在環(huán)的方法來避免沖突的全局事務可能會產(chǎn)生的全局死鎖，不僅減小了死鎖檢測粒度而且還提高了全局事務處理的并發(fā)度，同時也保持了集群中局部數(shù)據(jù)庫的自治性。此外，還改進了一種以事務提交圖為中心的并發(fā)事務調度算法來保證全局事務的可串行化提交，實驗比較結果表明該算法有效地提高了全局事務執(zhí)行的并發(fā)度

4、，增加了事務吞吐率和減少了響應時間。 負載平衡是集群系統(tǒng)獲得高并行處理性能和提高資源利用率的有效手段，集群中的負載平衡器根據(jù)同構或異構節(jié)點上的CPU、內存和磁盤I/O等計算資源在不同負載下的綜合利用率來衡量節(jié)點的加權負載狀態(tài)，所提出的基于閾值的動態(tài)負載平衡算法不僅考慮了資源的利用率，而且還考慮了負載類型對集群系統(tǒng)性能的影響。實驗證實該策略不僅動態(tài)地保持了系統(tǒng)的負載平衡，而且還充分發(fā)揮了各節(jié)點的計算能力，提高了系統(tǒng)中各計算資源的利

5、用率。 數(shù)據(jù)分布平衡是影響數(shù)據(jù)庫集群系統(tǒng)性能的重要因素，現(xiàn)存的一些數(shù)據(jù)劃分方法把關系和數(shù)據(jù)都均勻地分布到多個處理節(jié)點上，而沒有考慮異構節(jié)點間計算能力的差異，使得數(shù)據(jù)庫集群的并行處理能力沒有被充分地發(fā)揮，因此，提出了適合于同構及異構集群中數(shù)據(jù)分布的改進的Range劃分方法，根據(jù)集群中同構或異構節(jié)點的計算能力將數(shù)據(jù)不均勻地分布各節(jié)點上，克服了傳統(tǒng)的數(shù)據(jù)均勻劃分的缺點。針對系統(tǒng)負載中發(fā)生的數(shù)據(jù)傾斜，所采用的聯(lián)機數(shù)據(jù)遷移算法根據(jù)負載訪問