共查询到20条相似文献，搜索用时 31 毫秒
1.
基于主题搜索的主题网络爬虫,只抓取与用户主题相关的页面。在深入分析主题页面分布特征和主题相关性判别算法的基础上,提出了一个面向主题搜索的网络爬虫模型,它很好地克服了通用搜索引擎准确率偏低、信息内容相对陈旧、信息分布范围不均衡等不足。实验结果表明,尽管基于主题爬虫的搜索增加了内存使用率,但也成倍提升了搜索的准确性,提高了抓取效率以及抓取结果的利用率。 相似文献
2.
针对页面中的大量动态链接,提出了模拟浏览器的解析方式进行页面链接的提取,并设计实现了基于JaveScript等多链接分析的主题爬虫系统. 相似文献
3.
4.
5.
孙滨 《洛阳师范学院学报》2011,30(11):51-53,57
随着网络信息资源的爆发式增长,现有的搜索引擎已经无法满足迅速获取准确信息的需要,为搜索引擎引入搜索内容更为精确、搜索信息量更大的爬虫显得十分迫切.本文实现了一种基于多个分类器的分布式主题爬虫方法.实验结果表明,该爬虫的速度和精度均较为良好,特别适合于对大数据量的特定主题信息的抓取. 相似文献
6.
作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱.然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求.基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生.主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用.首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等.其次,提出使用向量空间模型进行主题相关度计算.为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术.最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫. 相似文献
7.
高伟锋 《南宁职业技术学院学报》2011,16(1):97-100
通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。 相似文献
8.
主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。 相似文献
9.
秦学勇 《廊坊师范学院学报(自然科学版)》2011,11(2)
针对如何有效获取和管理互联网资源,提出一种解决方案.首先,通过使用主题爬虫获取互联网相关学科主题资源,然后,用本体来表示和管理信息.该方案能够完成本体的构建、学习功能,可以较好地满足用户的信息检索需求. 相似文献
10.
在大数据和移动互联网的时代背景下,舆情信息的迅猛增长为其采集与分析带来挑战。运用分布式计算技术,有利于对领域海量主题舆情的快速采集与分析。研究主题舆情采集与分析关键技术,包括主题舆情采集技术、领域词典和中文分词,探讨分布式计算环境下的主题舆情采集与舆情数据分析,并利用面向对象的分析与设计方法,基于开源爬虫设计并实现了一个分布式主题舆情采集与分析系统。利用4个爬虫节点进行分布式采集,相比传统采集模式,该系统的平均采集速度提升了2.74倍。 相似文献
11.
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。 相似文献
12.
13.
14.
龙俊浩 《广东技术师范学院学报》2013,(12):132-136
在高校大学生就业形势极其严峻的背景下,高等师范院校毕业生这一特殊群体对及时准确的教师招聘信息更加渴望．因此高校研究建设教师招聘信息的垂直搜索引擎非常有必要．本文对垂直搜索引擎的工作原理以及关键技术模块进行分析,同时结合各类教师招聘信息网站的特点对关键技术中网络爬虫爬取策略进行改进,创建一个更具高效教师招聘信息价值平台． 相似文献
15.
高等学校具有人口密度大、社会关注度高、突发事件发生风险高的特点,这对突发事件处置背景下的高校管理决策提出了新的要求。以新冠肺炎疫情为例,文章通过网络爬虫技术爬取N大学新闻网上的疫情相关文本,利用LDA主题模型挖掘出文本数据的9个锚点——师生投身抗疫、服务学生、心理健康保障、国内外学术交流、反馈社会、高校智库、学科建设和学术研究、线上线下融合教学、组织建设,分析突发公共卫生事件处置背景下每个锚点的现状和演化趋势,并据此勾勒出面向突发事件的高校管理体系,这对于提升高校突发事件应对管理水平具有重要意义。 相似文献
16.
网络爬虫是搜索引擎的一个基本组件,网络爬虫抓取页面的效率直接影响搜索引擎提供的服务质量。除了可以通过改进网络爬虫的爬行策略来提高网络爬虫效率之外,也可以通过优化网络爬虫程序某方面的设计来消除特定的效率瓶颈。通过对网络爬虫结构和实际运行数据的分析,针对爬虫的DNS解析瓶颈,设计了一种带缓存异步域名解析器模型,并通过实验和一般DNS解析器模型进行了比较,实验结果证明这种模型对于减少程序等待解析域名的这一操作时间十分有效,显然也能够提高爬虫的整体效率。 相似文献
17.
何万莉 《广西教育学院学报》2013,(1):113-115
主题班会是对大学生德育教育的有效载体。本文针对高校班级主题班会存在的主题陈旧、针对性不强;内容空泛、形式不丰富;角色不明、参与度不广;把控无度、跟进不及时等问题提出了提高主题班会质量的策略。 相似文献
18.
19.
程萍 《闽西职业技术学院学报》2020,(3):86-88
在高校“不忘初心,牢记使命”主题教育即将走向常态化、长效化的形势下,及时梳理、总结前一阶段的宣传工作经验,事关主题教育成果的巩固和转化,事关学校内涵建设的稳步推进。主题教育宣传工作应通过制定专项工作方案、协同推进、构建全过程全媒体宣传矩阵等方式巩固主题教育成果。 相似文献
20.
传统节日蕴涵着丰富的传统文化精髓,传统节日主题教育是高校主题思想政治教育的有效载体。本文从传统节日主题教育知识与信息获取渠道、活动方式和过程、教育成效的巩固等方面进行创新性探索。 相似文献