|
|||||
|
|
| Spark平台中任务执行时间预测方法研究 | |
| 引用本文： | 刘思宇,梁毅,陈诚,陈翔.Spark平台中任务执行时间预测方法研究[J].教育技术导刊,2017,16(12):19-21. |
| 作者姓名： | 刘思宇 梁毅 陈诚 陈翔 |
| 作者单位： | 北京工业大学 计算机学院，北京 100124 |
| 摘 要： | Spark是一种新型分布式海量数据处理平台，在应用执行过程中，Spark以任务作为最小执行单元。因此，任务执行时间预测是指导Spark进行性能分析、优化资源调度以及故障监控的基础。在Spark平台中，由于计算数据分布不均及网络资源的共享，导致同样计算逻辑的任务在不同计算节点上执行的时间可能产生很大差异，需根据实时运行环境进行动态预测。通过结合任务在不同节点所需数据量以及集群网络状况，对任务在不同节点的执行时间进行预测。实验表明，该方法对任务进行预估，误差可保证在19%以内，任务执行时间预估算法对Spark调优有一定的指导作用。 |
| 关 键 词： | 大数据 Spark 预测 分布式 任务 |
| 点击此处可从《教育技术导刊》浏览原始摘要信息 | |
| 点击此处可从《教育技术导刊》下载免费的PDF全文 | |