共查询到17条相似文献，搜索用时 562 毫秒
1.
不断增大的数据规模给Hadoop集群处理能力带来了挑战,而合理的作业调度方式与策略能够提高集群的运行效率。通过对Hadoop MapReduce的任务调度机制进行研究,设计了节点负载能力与动态优先级的计算方式,提出了一种动态优先级的负载均衡调度算法,并搭建小型Hadoop平台进行了实验分析。结果表明,该算法在集群负载均衡方面的效果要优于传统调度算法。 相似文献
2.
针对混合任务实时调度的需求和现有混合任务实时调度算法的局限性,提出了一种长释放时间间隔优先的混合任务实时调度算法LRIF,该算法采用固定优先级和动态优先级相结合的调度策略,根据非周期性软实时任务作业到达流分布,将一定比例的软实时任务作业当作硬实时作业调度,除了可对周期性硬实时任务提供调度保证外,同时还可确保非周期性软实时任务的可调度率.还提出了LRIF调度算法的可调度性分析方法,并讨论了LRIF调度算法的实现方法.测试结果表明:LRIF调度算法具有更好的调度性能,可有效调度由周期性硬实时任务和非周期性软实时任务构成的混合实时系统. 相似文献
3.
调度算法是指根据系统的资源分配策略所规定的资源分配算法。本文从实现方法和实例验证两方面，对先来先服务调度算法、短作业优先调度算法、高优先级优先调度算法和高响应比优先调度算法四种作业调度算法进行比较和分析后得出，为什么批处理系统常采用的作业调度算法是先来先服务调度算法。 相似文献
4.
调度算法是指根据系统的资源分配策略所规定的资源分配算法．本文详细地讨论了先来先服务调度算法、短作业优先调度算法、高优先级优先调度算法和高响应比优先调度算法等四种常用作业调度算法的基本思想,并结合实例对其进行了分析和评价． 相似文献
5.
针对Hadoop集群节点性能差异大、资源分配随机、执行时间过长的问题,提出一种将节点性能标签（简称节点标签）和作业类别标签（简称作业标签）进行动态匹配的调度器。节点初始分类并赋予原始节点标签,节点检测自身性能指标生成动态节点标签,作业根据部分运行信息进行分类并生成作业标签,资源调度器将节点资源分配给对应标签的作业。实验结果表明,相对于YARN中自带的调度器,其在作业执行时间上有很大缩短。 相似文献
6.
Hadoop是目前应用最广泛的分布式框架,作业调度是其重要环节,它直接关系到集群的性能与资源利用率。研究了作业调度流程、作业调度策略模式,对Hadoop自带的3种调度器的设计要点与配置方法进行了探讨。 相似文献
7.
混流车间作业调度是实际生产环节中的一个重要问题,也是制造系统生产管理的核心,同时实际的生产系统是一个动态生产环境.文中提出蚁群动态调度算法,通过实例具体分析并且跟传统的启发式算法相比较,实验结果证明蚁群动态调度算法对混流车间作业调度问题有较优的加工路径. 相似文献
8.
韩亚峰 《河南职业技术师范学院学报(职业教育版)》2013,(1):86-90
数据调度算法是P2P研究的热点问题.算法性能的优劣会直接影响到P2P系统的服务质量.通过分析P2P流媒体直播系统中节点能力和数据分片的优先级,提出了最少最小优先调度算法(LRFA).算法结合了现有的最少优先策略,将数据的稀缺性和时间特性作为重要因素,对节点能力进行了动态估算,最终实现了节点资源的充分利用. 相似文献
9.
陈中柘刘宇朱顺鹏张小玲 《实验室研究与探索》2023,(4):107-111
在柔性生产车间的动态调度中，启发式调度方法因其响应速度快而得到广泛应用，但其规则繁杂，难以在复杂多变的动态生产调度环境中做出最优决策。为此，提出一种基于改进的深度强化学习算法的柔性作业车间动态调度方法，将车间动态调度问题建模为马尔科夫决策过程，定义一系列表征生产系统环境的状态特征值，在每个决策时间点利用改进的策略梯度方法实现启发式调度规则的智能动态选择。设计3组实验仿真表明，提出的方法相比于传统启发式算法具有优越性和泛化性，该研究可为大学的专业教学提供一个仿真实践平台。 相似文献
10.
电子通信信息是当代社会运行的重要信息组成之一,提高电子通信信息存储能力对于各行业高效率处理事务意义重大。基于Hadoop集群环境设计了单节点双层Hadoop结构,分担主节点存储信息的压力;构建MapReduce信息并行计算模型分担海量存储任务,基于动态优先级负载均衡调度算法均衡存储节点的负载量,避免个别或者少数节点负担过重,延长Hadoop存储系统节点的使用寿命。测试结果显示,该方法有效均衡了海量信息存储时间,存储大规模电子通信数据的耗时较少。 相似文献
11.
刘成斌 《忻州师范学院学报》2007,23(5):46-48
对于实时混合型任务调度,基于NP问题的分析研究,在分层中采用基于阈值的双优先级调度算法,该算法结合了抢占式与非抢占式调度算法的优点,可以提高任务集的调度成功率,并减少由于任务切换引起的系统开销。对阈值的分配是调度算法的核心。在基本优先级已知的条件下,基于回溯技术的阈值分配算法利用低端任务阈值单向影响高端任务最大响应时间的特性,可以在有限的时间内为任务集找出一组具有极大值特征的阈值。该组阈值可以将任务切换次数降至最低,使各队列能够将任务的分配达到一个利用率很好的程度。 相似文献
12.
为解决FlexRay线控转向系统中常见的死锁问题,采用优先级置顶算法进行多任务动态调度。首先,分析FlexRay线控转向系统多任务动态调度过程中的死锁问题|然后深入研究优先级置顶算法防止死锁问题的原理|最后搭建双通道多冗余的FlexRay线控转向系统,进行重要系统参数配置。运行结果表明,未使用优先级置顶算法的FlexRay线控转向系统出现了死锁现象,使用优先级置顶算法进行动态任务调度之后,系统可正常运行,证明了算法有效性。 相似文献
13.
混部负载是当前业界提高数据资源利用率的重要手段,其原理是将在线负载和离线负载共同放置于同一数据中心、共享资源,在保证在线负载服务质量的前提下,将空闲资源分配给离线负载。当前针对混部负载中离线负载的资源调度采用传统的公平或者短作业优先等策略,并未考虑在线负载资源需求波动对离线负载运行的影响。为了达到进一步提升资源利用率和作业吞吐率的目的,提出基于负载完成时间预判的模拟退火资源分配策略。结果表明,该策略比公平策略和短作业优先策略在平均资源利用率上分别提高了7.8%和15.5%,在吞吐率上分别提高了38.2%和29.1%。 相似文献
14.
GridSim模拟器是网格相关研究中通用的模拟、分析工具.为了进一步丰富GridSim模拟器功能以使其更好地支持算法、性能模拟,提出并实现了在GridSim中引入优先级的预留策略,扩充了GridSim的性能.在优先级预留系统中,对GridSim预留模块中已有的先来先服务（FCFS）预留调度算法进行了改进,将优先级与先来先服务相结合提出了一个新的预留调度算法ARWithPriorityPolicy.实验结果表明,结合优先级的预留调度算法可以有效减少被拒绝的预留请求数目. 相似文献
15.
针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程（Markov Decision Process,MDP）的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度．实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能． 相似文献
16.
针对MapReduce任务调度中任务属性取默认值的不合理性以及人为指定值的不确定性,对调度算法实现动态调整任务优先级、计算合理的Reduce任务数、明确Reduce任务启动时机等改进,达到提升任务并行度、缩短作业执行时间的目的.Fair与LATE算法改进前后的实验结果表明,基于任务属性的改进能提高调度算法性能与作业整体执行效率. 相似文献
17.
方杰 《福建工程学院学报》2018,(6):553-559
针对飞机动态调度问题,分析航空公司航线时空网络特点,构建飞机动态调度时空网络路径图,定义剩余飞机的飞行路径,建立飞机动态调度模型。通过启发式的改进列生成算法迭代循环求解和分支定界策略的采用,寻找最优飞机动态调度飞行路径,生成动态调度方案。 相似文献