|
|||||
|
|
| Spark Streaming中参数与资源协同调整策略 | |
| 引用本文： | 梁毅,刘飞,常仕禄,程石帆.Spark Streaming中参数与资源协同调整策略[J].教育技术导刊,2019,18(1):45-47. |
| 作者姓名： | 梁毅 刘飞 常仕禄 程石帆 |
| 作者单位： | 北京工业大学 计算机学院，北京 100124 |
| 摘 要： | Spark Streaming是一种典型的批量流式计算平台，可用于处理持续到达的数据流。流式数据最重要的两个特征是波动性和时效性。利用动态调整系统参数和动态调整资源满足不同数据到达速率的响应延迟，但调整参数的方式具有局限性，其用户成本较大。因此提出一种参数和资源协同调整策略，采用动态邻域粒子群算法找到一种满足SLO目标且使用资源最少的系统方案。实验表明，AdaStreaming与DyBBS相比，延迟性降低了70.1%，在资源使用量上比DRA降低了42.1%。 |
| 关 键 词： | Spark Streaming 动态邻域粒子群 参数配置 资源分配 |
| 点击此处可从《教育技术导刊》浏览原始摘要信息 | |
| 点击此处可从《教育技术导刊》下载免费的PDF全文 | |