面向迭代計算的MapReduce優(yōu)化方法研究.pdf

1、MapReduce計算模型是一種流行的分布式計算模型。MapReduce計算模型從解決簡單的文本處理問題發(fā)展到解決復雜的機器學習、數(shù)據(jù)挖掘和社交網(wǎng)絡分析等問題，從處理批處理型作業(yè)發(fā)展到處理迭代型作業(yè)。但是大量的使用經(jīng)驗表明MapReduce計算模型不適合迭代型作業(yè)。由于任務的重復執(zhí)行特性和動態(tài)數(shù)據(jù)的存在，迭代型作業(yè)中存在大量的數(shù)據(jù)傳輸。迭代算法廣泛存在于機器學習、數(shù)據(jù)挖掘和社交網(wǎng)絡分析等應用中，現(xiàn)有MapReduce計算模型無法有效支持

2、這類應用，設計一種能夠透明高效地支持迭代計算的MapReduce計算模型是亟待解決的問題。
　　針對現(xiàn)有Hadoop實現(xiàn)迭代算法存在網(wǎng)絡傳輸負載大的問題，面向迭代計算的MapReduce優(yōu)化方法從計算模型的數(shù)據(jù)流角度出發(fā)，從四個不同角度進行優(yōu)化：通過一種動態(tài)數(shù)據(jù)的緩存策略，解決將動態(tài)數(shù)據(jù)存儲于分布式文件系統(tǒng)中帶來的額外網(wǎng)絡傳輸開銷和磁盤I/O開銷；通過一種動態(tài)數(shù)據(jù)的預取策略，解決傳統(tǒng)系統(tǒng)中以任務為單位請求和傳輸數(shù)據(jù)方式帶來的極大的

3、網(wǎng)絡傳輸開銷；通過一種面向迭代型作業(yè)的任務調(diào)度策略，解決任務調(diào)度器對集群網(wǎng)絡負載的弱感知性，并支持作業(yè)歷史執(zhí)行信息的反饋優(yōu)化；同時為了解決節(jié)點失敗導致動態(tài)數(shù)據(jù)在存儲和傳輸過程中丟失的問題，提出針對于動態(tài)數(shù)據(jù)的容錯策略以減少重復計算。基于以上優(yōu)化方法實現(xiàn)了原型系統(tǒng)Conch。
　　實驗結(jié)果表明，Conch系統(tǒng)能夠透明高效地支持迭代型作業(yè)。基于現(xiàn)有測試規(guī)模，動態(tài)數(shù)據(jù)傳輸規(guī)模降低了16倍。在單作業(yè)環(huán)境下相較于Hadoop系統(tǒng)和HaLoo