共查询到19条相似文献，搜索用时 546 毫秒
1.
不断增大的数据规模给Hadoop集群处理能力带来了挑战,而合理的作业调度方式与策略能够提高集群的运行效率。通过对Hadoop MapReduce的任务调度机制进行研究,设计了节点负载能力与动态优先级的计算方式,提出了一种动态优先级的负载均衡调度算法,并搭建小型Hadoop平台进行了实验分析。结果表明,该算法在集群负载均衡方面的效果要优于传统调度算法。 相似文献
2.
3.
4.
《西安文理学院学报》2019,(6)
在多核系统中,针对Linux的调度算法对交互式任务响应实时不足的问题,设计并提出了一种改进的交互式、多层次的任务调度GAS模型.该模型通过相近度对CPU实现分组,组内的CPU共享任务队列;通过改进多任务时负载均衡与任务迁移的开销,降低了交互式场景下任务的响应时长,提高了Linux多核多任务的任务执行性能;通过唤醒任务优先执行的机制,提高了交互任务的响应效率.实验结果表明,在不同任务数情况下,GAS算法的平均响应时长和最大响应时长都优于BFS算法和CFS算法. 相似文献
5.
首先概述了网格计算中的任务调度算法,然后着重讨论了比较经典的Min-min算法以及QoS guided Min-min算法,在此基础上考虑到任务对服务质量要求的差异、对调度算法的影响,提出了一个较为合理的改进算法来有效地均衡负载、提高系统吞吐量。最后对提出的算法进行了实验仿真,表明改进后的调度算法更加高效。 相似文献
6.
电子通信信息是当代社会运行的重要信息组成之一,提高电子通信信息存储能力对于各行业高效率处理事务意义重大。基于Hadoop集群环境设计了单节点双层Hadoop结构,分担主节点存储信息的压力;构建MapReduce信息并行计算模型分担海量存储任务,基于动态优先级负载均衡调度算法均衡存储节点的负载量,避免个别或者少数节点负担过重,延长Hadoop存储系统节点的使用寿命。测试结果显示,该方法有效均衡了海量信息存储时间,存储大规模电子通信数据的耗时较少。 相似文献
7.
刘成斌 《忻州师范学院学报》2007,23(5):46-48
对于实时混合型任务调度,基于NP问题的分析研究,在分层中采用基于阈值的双优先级调度算法,该算法结合了抢占式与非抢占式调度算法的优点,可以提高任务集的调度成功率,并减少由于任务切换引起的系统开销。对阈值的分配是调度算法的核心。在基本优先级已知的条件下,基于回溯技术的阈值分配算法利用低端任务阈值单向影响高端任务最大响应时间的特性,可以在有限的时间内为任务集找出一组具有极大值特征的阈值。该组阈值可以将任务切换次数降至最低,使各队列能够将任务的分配达到一个利用率很好的程度。 相似文献
8.
负载均衡算法是多任务实时集群系统的一个关键技术．在分析了常见的均衡调度算法后,LOCEP算法通过对URL进行词典排序,按内容等分,依访问流量排序及分段互补等一系列方法将Web负载尽可能均匀地分布到多个后端服务器中．该算法比现有的方法具有更好的负载均衡能力． 相似文献
9.
王金焱 《常熟理工学院学报》2021,35(2):70-75
针对现有调度方法存在的负载均衡效果不佳,传输时延较高以及最大链路利用率较低的问题,提出基于五元组和拥塞度预知的异构无线网络多路径流量调度算法.该算法考虑到多路径中带宽与时延的差异性特征,通过选取可用路径初步筛选出流量有效调度路径范围,建立中心网络流量模型,并采用五元组在可用路径中对路径进行编组,最后运用拥塞度预知方法准确反映路径的拥塞率,从而对不同拥塞程度路径进行调整与调度,将流量转移到质量较好路径中.实验结果表明,所提算法在数据流逐渐增加的情况下,能够保持较低的传输时延,并且最大链路利用率较现有方法有明显提高,负载均衡效果较好,充分验证了所提算法的流量均衡调度效果. 相似文献
10.
HBase原有负载均衡算法策略是保证每个Region Server的Region数目相同。但每个Region的访问并不均等,可能造成负载不均衡情况,产生热点数据,影响请求响应效率。部分Region会成为热点,导致一些Region Server负载过重。为提高HBase数据库整体性能,将数据热度因素考虑在内,使用预测方法设计HBase负载均衡算法,把预测数据的热度作为Region Server负载。实验表明,优化后的负载均衡算法可在一定程度上提高HBase数据库性能。 相似文献
11.
苏淑霞 《宁夏师范学院学报》2014,(6):66-70
减少调度过程中松弛度计算次数和任务切换次数,是改善实时系统周期性任务最低松弛度优先调度算法(LLF)性能的主要方法之一.基本的LLF算法只以任务松弛度为优先级来调度任务,使调度过程出现颠簸现象.根据LLF算法的基本思想,对其调度方法加以改进,通过减少任务切换次数来减少调度过程中的颠簸现象,从而提高了处理器的利用率,取得了较好的调度性能. 相似文献
12.
针对MapReduce任务调度中任务属性取默认值的不合理性以及人为指定值的不确定性,对调度算法实现动态调整任务优先级、计算合理的Reduce任务数、明确Reduce任务启动时机等改进,达到提升任务并行度、缩短作业执行时间的目的.Fair与LATE算法改进前后的实验结果表明,基于任务属性的改进能提高调度算法性能与作业整体执行效率. 相似文献
13.
Under high loads, a multimedia cluster server can serve many hundreds of connections concurrently, where a load balancer distributes the incoming connection request to each node according to a preset algorithm. Among existing scheduling algorithms, round-Robin and least-connection do not take into account the difference of service capability of each node and improved algorithms such as weighted round-Robin and weighted least-connection. They also do not consider the fact that the ratio of number of TCP connections 相似文献
14.
在带空间限制的实时多处理器系统模型上,针对文献[8]提出的DDS并行模型算法的不足提出一种新的基于EDF的优先级驱动全局调度算法,该算法保证了重要任务的优先调度。对文献[8]及该文的算法进行了对比研究,从调度成功率以及资源利用率方面对比,此算法均优于文献[8]提出的算法。 相似文献
15.
Tong Weiqin Zhou Qinghua Gu Zhikui 《上海大学学报(英文版)》1998,2(3):218-220
１ＩｎｔｒｏｄｕｃｔｉｏｎＭＰＩｉｓａｐｏｒｔａｂｌｅｐａｒａｌｅｌｐｒｏｇｒａｍｍｉｎｇｐａｒａｄｉｇｍｕｓｅｄｉｎａｗｉｄｅｓｐｅｃｔｒｕｍｏｆｐａｒａｌｅｌｓｙｓｔｅｍｓａｎｄｍｕｌｔｉｃｏｍｐｕｔｅｒｓｙｓｔｅｍｓ．Ｉｎｔｈｉｓｐａｒａｄｉｇ... 相似文献
16.
李江燕 《洛阳工业高等专科学校学报》2005,15(4):21-23
在分布式系统应用中采用动态负载平衡算法分配系统中的工作负载，能够显著地提高系统的性能。针对分布式系统中负载动态变化特性，提出了一种基于接收者主动的自索取动态负载均衡算法，通过负载数的实时变化反映系统中各节点的当前负载状况，通过空闲节点来转移超载节点的任务，使负载的分布更均匀，提高了整个系统资源的利用率及效率． 相似文献
17.
针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程（Markov Decision Process,MDP）的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度．实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能． 相似文献
18.
黄宜坤 《临沂师范学院学报》2006,28(6):20-23
主要研究关于工件加工时间恶化的若干问题,给出了最大完工时间问题的一些性质、总完工时间问题的算法和性质,并根据实际问题,设计了一些新模型,相应地给出了该问题所具有的性质及一些简单算法． 相似文献
19.
何颖 《贵州教育学院学报》2013,(9):18-21
爆炸式增长的数据要求高效率地使用计算资源,Hadoop是解决大数据处理的一个方向,不过Ha-doop平台还处于发展中,很多地方还有待完善。对Hadoop自带的三种调度器的优缺点进行分析,针对希望区分和动态改变作业服务质量的情况提出了动态优先调度算法。实验结果表明动态优先调度算法能够在作业的运行中动态改变作业的优先级,在效率上也有所提升。 相似文献