共查询到20条相似文献，搜索用时 545 毫秒
1.
2.
不断增大的数据规模给Hadoop集群处理能力带来了挑战,而合理的作业调度方式与策略能够提高集群的运行效率。通过对Hadoop MapReduce的任务调度机制进行研究,设计了节点负载能力与动态优先级的计算方式,提出了一种动态优先级的负载均衡调度算法,并搭建小型Hadoop平台进行了实验分析。结果表明,该算法在集群负载均衡方面的效果要优于传统调度算法。 相似文献
3.
集群系统下的动态负载均衡探究 总被引：1，自引：0，他引：1
曹英存 《和田师范专科学校学报》2006,26(2):158-159
本文主要讨论了网络负载均衡集群系统下,当前的均衡算法和动态负载均衡机制.结合加权轮询算法讨论了集群的动态负载反馈机制,给出了一个基本的动态均衡模型并加以分析. 相似文献
4.
5.
为优化整个服务器集群负载,提出一种基于预测阈值的动态权值负载均衡算法。动态评估服务器性能,根据评估结果计算服务器权值,并引入反映集群负载平衡程度和状态的阈值,以避免因频繁修改权值造成服务器抖动;使用 Holt-Winters 对访问量进行预测,并通过结果预测阈值,实现复杂负载环境下的负载均衡,达到最优负载均衡。实验结果表明,预测阈值的动态权值负载均衡算法在低并发以及高并发时都有很好的性能表现,能够提升系统的最大吞吐量,减少响应时间,提高整个集群利用率。 相似文献
6.
电子通信信息是当代社会运行的重要信息组成之一,提高电子通信信息存储能力对于各行业高效率处理事务意义重大。基于Hadoop集群环境设计了单节点双层Hadoop结构,分担主节点存储信息的压力;构建MapReduce信息并行计算模型分担海量存储任务,基于动态优先级负载均衡调度算法均衡存储节点的负载量,避免个别或者少数节点负担过重,延长Hadoop存储系统节点的使用寿命。测试结果显示,该方法有效均衡了海量信息存储时间,存储大规模电子通信数据的耗时较少。 相似文献
7.
e-Learning Grid下的大规模教育应用,受硬件、网络和其他资源的约束和限制,必然会导致系统负载失衡(负载过重或者过轻).动态负载均衡机制可有效避免部分节点过载,而另一部分节点空闲的不利状况,提高应用系统的可靠性和稳定性.本文详细讨论了e-Learning Grid下动态负载均衡机制的通用原理和步骤,并对常见的负载均衡机制进行了分析,使得它们可以在同一个体系下进行分析,有利于从总体上把握动态负载均衡机制的框架和组成,并通过应用实例检验其正确性和可行性. 相似文献
8.
9.
随着Internet的快速发展,服务器端的访问量也在急剧增长,这就对服务器的性能提出了更高的要求.而服务器集群技术则是解决这个问题的常用方法.本文在借鉴了轮转调度和最小负载优先调度的基础上,提出了综合负载动态分组的负载均衡算法.该算法系统开销小,负载均衡效果显著.配以阀值设置和强制刷新后,能使服务器集群系统长期处于负载均衡,服务高效的状态. 相似文献
10.
11.
Linux集群系统技术研究 总被引：3，自引：0，他引：3
本文首先介绍了集群的发展过程，连接结构与通用的网络协议不同的集群专用的通信协议；然后概述集群的分类；最后对集群的关键技术：例如大规模集群系统的可扩展性和性能衰减的问题、调度器的负载均衡技术、集群内部节点之间的通信延时等问题进行了分析，同时给出了集群的评测标准。 相似文献
12.
李江燕 《洛阳工业高等专科学校学报》2005,15(4):21-23
在分布式系统应用中采用动态负载平衡算法分配系统中的工作负载，能够显著地提高系统的性能。针对分布式系统中负载动态变化特性，提出了一种基于接收者主动的自索取动态负载均衡算法，通过负载数的实时变化反映系统中各节点的当前负载状况，通过空闲节点来转移超载节点的任务，使负载的分布更均匀，提高了整个系统资源的利用率及效率． 相似文献
13.
杨文有 《淮南师范学院学报》2010,12(3):36-37
在拥有不同计算能力的异构机群中,并行计算任务调度问题是一个NP-完全问题,现有的任务分配处理方法中．对机群任务分配与监控处理以及对机群节点计算能力和负载方面考虑较少,在实际计算中可能严重影响机群性能,降低计算效率,而在MPT中引入动态负载均衡的办法能够提高任务分配质量和计算节点工作效率,实验结果表明动态负载均衡模型能够很好地解决任务调度的问题。 相似文献
14.
防火墙集群技术就是一种全新的技术,可以避免防火墙成为限制网络带宽的瓶颈和系统的单一故障点。本文对防火墙集群负载均衡技术进行了分析探讨,根据网络流量模型以及影响负载均衡的因素,提出一种防火墙集群的自适应负载均衡实现方法,使得数据流在防火墙内的流动更趋合理,提高了系统运行的效率和安全稳定性。 相似文献
15.
16.
负载均衡是实现集群中多台服务器协同工作的重要方法.但现有办法较多关注的是如何更好的实现均衡的问题,而没有注意到当集群中服务器变化时,会发生缓存存储发生变化的问题,给服务器造成很大的负担.对负载均衡算法进行优化,提出一种一致性哈希算法,实现负载均衡和提高集群整体性能的目的. 相似文献
17.
提出了一种在异构环境下负载均衡调度策略,来解决各节点执行引擎负载不平衡的问题.新的调度策略与轮询算法相比,更加能够保证各执行引擎之间负载保持平衡.此外,当多引擎之间任务调度出现不平衡的状态时,该调度算法能动态地调整各节点引擎之间的负载,使之达到平衡状态. 相似文献
18.
提出了负载均衡算法的组成,分析比较了几种算法各自的优点和短处。通过调度思想设计实现了一种基于Linux操作系统的服务器集群负载均衡系统。通过实际的测试数据证明了这种负载均衡模式的有效性。 相似文献
19.
20.
网络用户大幅度增加为网络发展带来机遇的同时也带来了挑战,当前使用的数据负载均衡方法节点数据分发能力较差导致网络节点吞吐量较低。因此,设计了基于深度强化学习算法的高能效数据负载均衡方法。选择隐式并行程序设计方法,设计网络数据并行程序。根据存储节点个数,设计数据分配与迁移方法。根据存储节点数据量与特征,选择深度强化学习算法,实现高能效数据负载均衡。构建仿真分析环节,经多次测试证实,深度强化学习负载均衡方法具有调节网络节点平均吞吐量的能力,且此方法的使用效果优于当前所使用的其他方法。 相似文献