帶安全約束的批處理MapReduce任務調度方法.pdf

1、任務調度是影響面向大數(shù)據應用分布式計算的MapReduce框架性能的重要因素，成為近年來的MapReduce調度研究熱點。相互獨立的周期性執(zhí)行批處理任務是MapReduce環(huán)境下的重要任務處理類型。在涉及公安數(shù)據或金融數(shù)據的大數(shù)據處理時，安全性要求成為不可忽視的重要約束。本文研究MapReduce環(huán)境下帶安全約束的批處理任務調度方法，具有重要的理論意義和應用前景。
　　本文考慮帶安全約束的批處理MapReduce任務調度問題，考慮

2、Map和Reduce階段安全性和數(shù)據本地化約束，以最小化最大完工時間為優(yōu)化目標，兼顧作業(yè)公平性和集群負載均衡。建立帶安全約束的Map、Reduce兩階段任務調度數(shù)學模型;基于此模型提出帶安全約束的批處理MapReduce任務調度方法，該方法由三部分組成:Map任務調度、Reduce任務調度、調度序列調整。在Map任務調度階段提出兩種帶安全約束以及負載均衡控制的Map任務調度算子，得到Map任務調度序列;在Reduce任務調度階段提出兩種

3、帶安全約束的數(shù)據本地化感知的Reduce任務調度算子，得到Map和Reduce任務調度的序列;為了優(yōu)化調度序列以達到進一步縮短作業(yè)最大完工時間的目的，設計基于插入和交換的四種鄰域結構，將Map和Reduce調度算子得到的調度序列作為初始序列，進一步提出基于不同鄰域結構的局部搜索調度序列調整方法。
　　為驗證所提出算法的效率和有效性，采用方差分析技術對算法的相關參數(shù)和組件進行測試和分析，得到最適合求解該問題的相關參數(shù)值和組件;將提出