共查询到20条相似文献，搜索用时 171 毫秒
1.
《实验室研究与探索》2019,(12)
随着云计算应用技术及相关研究的发展,云编程模式也有了新的技术革新。在高校校园网实验教学体系中,云平台的相关实验已经成为大数据分析等课程配套实验的主要内容。使用HDFS架构,搭建稳定、实用、符合实验课程体系的大数据实验平台,成为高校校园网实验研究的新课题。选用开源云计算平台Hadoop,作为基础平台进行大数据分析实验,搭建基本的实验平台,进行数据处理平台的优化处理。通过HDFS为分布式计算存储提供底层应用支持,实现NameNode和DataNode的通信,将用户通过数据块的方式将文件存储到节点中,及时处理客户端的读写请求,并在NameNode的统一调度下进行数据块的创建、删除、复制和映射。根据具体的实验方法,有针对性的制定实验流程。 相似文献
2.
针对关系型数据库无法满足海量活断层探测文件入库效率要求与存储无法横向线性扩展的问题,基于MongoDB非关系型数据库的海量活断层探测文件存储入库方法,充分利用MongoDB内存文件映射方式,可动态增加节点以扩展性能、提高负载。以南水北调中线核心水源区活断层管理系统为例进行测试,与传统关系数据库存储入库文件方式进行性能对比试验分析,结果表明：该方法显著提高了海量活断层探测文件的存储入库与查询效率,能有效解决关系数据库存取非结构化数据时的性能瓶颈问题。 相似文献
3.
并行计算将发展为使用上千个集群化的CPU完成一个应用程序,这导致I／O瓶颈随着集群中CPU密度的加大而日益严峻。目前的并行文件系统提供了大量的聚合I／O带宽,然而它们的可扩展性达不到管理上千个存储节点上的分布式文件的需求。这篇论文我们通过存储服务器之间的聚合通讯来提高文件大数据集操作的可扩展性。特别的,我们采用服务器到服务器的通讯方式来简化一致性检查,同时改善文件创建、删除和状态查询的性能。 相似文献
4.
《实验室研究与探索》2017,(8):158-160
针对某些监控系统实时性要求高、长距离通信、节点众多、成本高等问题,利用XY·CN总线和虚拟仪器技术设计了一个嵌入式监控系统。该系统包含3个部分:PIC单片机分节点,ARM主节点和PC机。PIC单片机分节点将现场采集到的数据通过XY·CN现场总线发送给ARM主控节点,并接收总线的控制命令控制现场设备。ARM主节点通过XY·CN现场总线将各个分节点的数据收集并处理,然后通过以太网将数据发送至上位机。上位机采用在PC机上运行的虚拟仪器,用于存储、显示各个节点的数据。所设计的系统采用双绞线通信,并采用总线供电,具有实时性好,低成本,扩展灵活等特点。 相似文献
5.
6.
韩亚峰 《河南职业技术师范学院学报(职业教育版)》2013,(1):86-90
数据调度算法是P2P研究的热点问题.算法性能的优劣会直接影响到P2P系统的服务质量.通过分析P2P流媒体直播系统中节点能力和数据分片的优先级,提出了最少最小优先调度算法(LRFA).算法结合了现有的最少优先策略,将数据的稀缺性和时间特性作为重要因素,对节点能力进行了动态估算,最终实现了节点资源的充分利用. 相似文献
7.
为了更好地开展大数据实验教学与研究,提高大数据实验课程质量,克服传统大数据实验建设弊端,基 于 KVM 技术与超融合架构设计一种新的大数据虚拟仿真实验平台建设方案。该方案将计算和存储融合在X86 单一物理节点中,分布式存储成本低,提高了 IO 性能,具有开放兼容、易于扩展,方便维护、高可用等特点。该大数据虚拟仿真实验平台能够简化大数据实验平台环境搭建,提高教学实验效率。基于该平台可以定制各种实验环境,通过弹性分配计算资源,保障实验教学环境稳定运行。 相似文献
8.
介绍了一种利用Labview构建硅微陀螺,加速度计的测试系统。该系统采用NI公司的Labview开发平台,完成了数据采集、实时显示、数据存储与分析处理等功能。为陀螺仪与加速度计的性能分析提供基础,进一步扩展Labview软件的应用领域。 相似文献
9.
陈洪斌 《襄樊职业技术学院学报》2004,3(3):1-4
概述了两个钢筋混凝土梁柱中节点在低周反复荷栽作用下的试验，通过试验。分析了这两个梁柱中节点的受力机理及抗震性能，通过对这两个节点抗震性能的比较。得出了抗震节点和非抗震节点抗震性能的优劣。 相似文献
10.
11.
12.
针对水声网络设备信息监控难的问题,设计一种基于Web的水声网络设备信息管理系统。该系统利用捎带机制,通过网络数据传输将网络节点信息传输到水面汇聚节点,再由汇聚节点将数据提交给系统服务器。用户通过Web客户端查询网络设备状态信息,实现网络设备状态和性能监控。该系统结构简单,可以动态、实时监控水声网络运行过程,为水声网络管理平台的发展提供了解决方案。 相似文献
13.
魏建琳 《西安文理学院学报》2018,(5)
从IT基本常识出发对大数据的时代背景、系统实现及关键技术做一简单梳理与解析.大数据是超出了传统数据库管理工具抓取、存储、管理和分析能力的数据群.大数据存储与处理的危机推动着大数据处理技术的飞速发展,大数据采集、处理、存储、分析的系统实现方案日渐成熟. MapReduce应用于大数据处理的各个环节,是大数据处理的关键技术. 相似文献
14.
15.
龚成清 《岳阳职业技术学院学报》2010,25(3):90-92
C＋＋语言中对矩阵数据通常采用二维数组来进行存储,有以行为主序和以列为主序两种方式。这两种方式实现的细微区别会影响到大矩阵数据的存储效率。笔者给出了两种存储方式实现的程序,分析了他们效率差别的原因,得出了在C＋＋语言中矩阵数据应该以行为主序优先进行存储的结论。 相似文献
16.
无线传感器网络(WSNs)是无线网络的主要形式之一,广泛用于环境数据的感知监测及相关应用。节点能耗控制一直是影响WSNs发展的关键因素,现有对于无源节点的研究多基于在现有节点上加装能量采集模块为其供电。由于没有改变节点的运行机制,因此存在实现成本高、可靠性差等缺点。本文提出了一种无源标签节点的设计方案,通过采用转换外部压力能供电,使其同时具备了传感器节点的运算处理能力和RFID标签的无源工作特性。实验结果证明,设计的无源标签节点可以将瞬时压力转化成电能并完成采样、计算、存储等工作。 相似文献
17.
18.
随着数据仓库理论的发展,数据仓库系统已逐步成为新型的决策管理信息系统的解决方案,而数据仓库系统的核心是联机分析处理。主要介绍了OLAP技术和多维数据领域中的一些基本概念及多维数据分析的主要方法和多维数据的3种存储模式:ROLAP、MOLAP、HOLAP。 相似文献
19.
文章以云计算与大数据分析的结合这一热点问题为研究背景,首先分析了大数据背景下数据存储特点和面临的相关问题,进而介绍了大数据分析以及面临的挑战。在此基础上对基于云计算的大数据分析关键技术以及目前的解决方案进行了探讨,最后给出了大数据分析的发展趋势及特点。 相似文献
20.
无线传感网络传感器节点通过自组织网络进行数据信息交互。由于每个传感节点仅能获得局部信息,容易在数据信息交互过程中引发数据冲突,因此设计一种基于CSMA/CA协议的无线传感器网络数据冲突检测系统,主要包括TC35I电源模块、传感器节点检测模块、无线通信模块、手持式检测终端、主处理器STM32F103VB、无线打印机等。系统通过分析对比每个传感节点对数据包的接收状态,实时检测无线传感器网络中潜在的数据冲突|同时,数据冲突检测结果通过上位机软件进行实时显示,具有结构简便、组网简单等特点,可以方便地拓展到其它无线网络中。 相似文献