基于Hadoop的排序算法并行化改进     

符彩珍  周国军  莫丽清  岑月明  梁徐萍 《教育技术导刊》2016,15(4):68-70

受单机内存和计算能力的限制,串行的排序算法难以对大数据进行高效排序。针对此问题,根据Hadoop的MapReduce框架对常用的内部排序算法进行并行化改进,给出改进算法的基本步骤,描述了Map、Partition和Reduce函数的主要代码。以折半插入排序和堆排序为例,通过实验比较串行算法和改进算法的执行时间,测试改进算法的可扩展性。实验结果表明,改进的并行排序算法具有较高的执行效率和较好的可扩展性。  相似文献