共查询到20条相似文献，搜索用时 31 毫秒
1.
针对大数据可视化需求,基于网络公开的用户行为大数据(部分数据可以借助网络爬虫等算法自主抓取),依托Hadoop开源大数据处理平台,利用JavaWeb中的编程框架,辅助以各种可视化工具,设计实现了大数据的可视化分析及应用.在完成大数据可视化处理操作的同时,实现了多源多类大数据的可视化分析与展示.通过实验分析,能够实现不同大数据应用领域的可视化数据分析,为用户提供便捷、有效的大数据处理与应用业务. 相似文献
2.
《西安文理学院学报》2018,(6)
在大数据环境下,如何挖掘数据的价值信息成为目前研究的热点.针对大数据背景下数据挖掘问题,提出了一种基于并行算法的数据挖掘平台.通过实时监测数据的非正常波动,及时发现价值信息,以达到挖掘核心信息的目的.实验表明:该算法可有效地挖掘出具有价值的信息,无论在速度还是精度上都能保证实时在线处理的要求,达到为平台高效数据挖掘提供可靠的参照依据. 相似文献
3.
偏振光谱强度调制（PSIM）是一种获取偏振光谱信息的新技术,测量数据处理是PSIM偏振光谱仪的关键模块之一。利用IDL程序设计语言,完成PSIM偏振光谱仪测量数据处理算法的集成设计。从PSIM技术原理出发,进行PSIM偏振光谱仪测量数据处理算法的数学推导,确立PSIM偏振光谱仪数据处理算法流程,编程实现了从光谱仪测量数据文件读入到待测光Stokes矢量元素谱及偏振度谱输出的完整过程,完成了PSIM偏振光谱仪数据处理算法的可视化设计,使其具有良好的用户界面。典型待测光源测量实验数据处理结果与理论分析结果的一致性证明了算法可行性和软件设计的正确性。同时,程序功能的可视化设计也使PSIM偏振光谱仪测量数据处理效率明显提升。 相似文献
4.
5.
建立大数据专业课程群,循序渐进地引导学生从基础到综合、从理论到实践,从专业基础课进入到大数据专业核心课程的学习,逐步开设分布式系统、云计算、数据获取、数据处理、大数据挖掘与分析、大数据预测与人工智能、数据可视化等课程,将大数据技能学习路线清晰化、科学化;精心设计课程理论与实践环节,理论教学将案例贯穿到教学内容之中,让学生能够更加直观地理解知识,实践环节采用模块式实验设计,让教师能够根据课程内容对实验内容进行组合,能够有针对性地让学生掌握相关技术。经过实践,大数据课程群建设对学生竞赛、就业及深造起到了较好的支撑作用。 相似文献
6.
在线学习平台累积存储了大量学生用户的学习数据,以MOOC为主的高校在线学习平台却没有很好地利用这些数据进行综合性学习分析与评价,现有的学习评价体系也不足以有效激励学生,也难以反映学生的综合素质能力.教育大数据可视化可以图表等形式将学习数据直观地呈现出来,便于教师发现教育教学数据中包含的认知规律及行为模式或其他信息,从而... 相似文献
7.
基于 ELK 在智慧运维大数据分析平台实现海量数据分析,对 ELK 的部署结构进行优化,并在日志采集和日志处理中间增加 Kafka 消息处理队列,减轻 Logstash 压力,增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分,将拆分后的字段在 Elasticsearch 中存储,最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近 1s的延迟搜索。 相似文献
8.
互联网应用终端正从PC端转向移动端,移动优先成为互联网产品设计与开发的准则。现有可视化系统应用终端多依赖于计算机操作系统以及插件,难以实现大数据跨平台、跨终端的移动可视化应用。分析了大数据处理、可视化算法及库、浏览器、触摸交互和响应式设计5大移动可视化关键技术及挑战,基于大数据处理技术和HTML5标准提出了移动可视化系统架构,实现了大数据挖掘和交互式可视化应用,可为可视化、数据分析、数据挖掘、数字媒体生产提供借鉴参考。 相似文献
9.
马伟杰 《河南广播电视大学学报》2012,(3):108-110
决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型。对网络课程知识点个性化设计中的大量数据,运用数据挖掘算法中的决策树C4.5算法对所给数据进行处理,选取决策属性,构造决策树,提取分类规则,获取每一个知识点与不同类型的学生之间的关系。通过实验仿真发现,C4.5决策树算法取得了较为理想的分类预测效果。 相似文献
10.
11.
赵圆圆 《石家庄职业技术学院学报》2022,(2):37-42
利用Python语言的第三方库Numpy,Matplotlib和Pandas对学生成绩进行处理和分析.科学设计数据处理流程,包含打开文件模块、获取数据模块、数据处理模块和数据可视化模块.绘制出学生成绩雷达图、散点图和饼状图,供教师进行可视化分析,以便及时调整教学内容与教学方法. 相似文献
12.
下一代互联网的大数据挖掘平台是一套以监测分析为手段,同时面向业务与应用和数据挖掘的综合平台.平台按三层架构进行建设,分别是采集层、存储和处理层、应用层,使用云计算和云存储,最大程度排除设备故障,优化网络,提升用户体验,挖掘各种业务海量数据带来的最大价值,帮助运营商等解决网络面临的最大问题. 相似文献
13.
《实验室研究与探索》2017,(8):100-103
基于Matlab的图像采集工具箱,设计了一套集图像采集与处理的图像数据处理软硬件平台。该平台利用Matlab的图像处理与采集函数,实时从图像传感器采集并处理图像数据。较传统的图像处理平台,该实验平台能提供更多的实验项目和实际体验,提高学生的临场实验效果,并使学生专注于图像处理实验项目的创新思路与算法设计过程。 相似文献
14.
杨丽玲 《通化师范学院学报》2014,(12):49-51
该文介绍了数据挖掘、关联规则、Apriori算法的基本概念,同时基于Microsoft数据库平台 SQL Server 2005,结合BI Development Studio的分析服务功能SSAS,利用Microsoft关联规则数据挖掘算法对招生系统中数据进行数据处理和数据挖掘,从而找出强关联规则,为高校的招生提供参考依据。 相似文献
15.
16.
《现代教育技术》2016,(6):87-93
近年来,随着教育信息化进程的不断推进,教务管理、学生信息系统及各种网络教学平台等已被广泛应用于教学实践中。网络教学的开展为学生自主学习提供了平台,但却缺乏对学习过程的监督和管理。文章在分析教育数据挖掘技术及其应用的基础上,建立网络学习过程监管的教育数据挖掘模型,并以本校外研社大学英语教学管理平台为例,借助教育数据挖掘技术中的统计分析与可视化、关联规则算法和聚类算法,分析了网络学习过程中产生的大量学习数据,并根据分析结果给出了网络学习过程监督与管理的思考和建议,以期为教师评判学生网络学习效果、了解学生网络学习状况、改进网络学习过程提供有益的参考。 相似文献
17.
现代数字化工业生产中,制造、组装和测试过程会产生大量数据,这些数据中隐藏着决定产品质量的信息和知识。使用传统抽检手段发现质量问题后再加以修改往往为时已晚。数据挖掘中用生产参数预测产品质量,可以预先获取产品质量信息,据此进行调整以提高产品质量。采用CRISP-DM流程,使用集成学习算法（随机森林、XGBoost）,利用回归与分类模型进行数据挖掘,经参数调节获得精确的优化模型,在生产中运用该模型有助于提升产品质量。 相似文献
18.
侯亚君 《晋城职业技术学院学报》2014,(2):63-65
开源的R语言集成了多种数据分析与可视化算法,具备良好的可扩展性,适用于数据挖掘。本文通过描述R语言中Kmeans、Weka、IGRAPH、Holt-Winters 4种主要技术与算法,以及网站挖掘的应用实例介绍,突出R语言在海量数据的采集处理、分类、统计分析、预测、可视化等方面的优势。 相似文献