| 高校网站日志分析系统的研究与应用 |
| |
| 引用本文： | 尹鑫,种兰祥,杨建锋.高校网站日志分析系统的研究与应用[J].中国教育信息化,2019(13):64-67. |
| |
| 作者姓名： | 尹鑫 种兰祥 杨建锋 |
| |
| 作者单位： | 西北大学现代教育技术中心;西北大学信息科学与技术学院 |
| |
| 基金项目： | 陕西省教育厅2018年度重点科学研究计划“陕西教育信息化检测技术研究”(18JX004);西北大学研究生创新人才培养项目“基于高校网站访问日志的数据挖掘”(YZZ17187)研究成果 |
| |
| 摘 要： | 针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Streaming流处理框架按批次提取缓存的数据,并通过其中的Translation和Action算子对流量、站点、地区、终端信息进行分析,使用MySQL数据库对分析结果进行存储。使用Echarts设计界面并结合Ajax等前端技术对分析结果进行实时可视化处理。在分布式平台下实现了一个实时可扩展的日志数据分析系统。有效地支持了高校网站的管理工作。
|
| 关 键 词： | 高校网站日志 分布式集群 SparkStreaming 可视化 |
| 本文献已被 维普 等数据库收录！ |
|
