共查询到19条相似文献，搜索用时 593 毫秒
1.
基于主题搜索的主题网络爬虫,只抓取与用户主题相关的页面。在深入分析主题页面分布特征和主题相关性判别算法的基础上,提出了一个面向主题搜索的网络爬虫模型,它很好地克服了通用搜索引擎准确率偏低、信息内容相对陈旧、信息分布范围不均衡等不足。实验结果表明,尽管基于主题爬虫的搜索增加了内存使用率,但也成倍提升了搜索的准确性,提高了抓取效率以及抓取结果的利用率。 相似文献
2.
由于通用搜索引擎返回的信息过多且主题相关性不强,使部分企业未能及时获取高校招标公告,错失中标机会。针对这种情况,提出了高校招投标公告主题爬虫的设计方法。爬虫首先通过主题确立、网页聚类,将高校招投标公告聚集页面存储起来,然后爬虫每日从高校招投标聚集页面采集最新公告。实验结果表明,该爬虫能及时更新高校招投标公告且准确率较高,较好地为高校招投标信息网站建设提供数据来源。 相似文献
3.
作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱.然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求.基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生.主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用.首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等.其次,提出使用向量空间模型进行主题相关度计算.为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术.最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫. 相似文献
4.
5.
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。 相似文献
6.
7.
Web信息的急剧增长使搜索引擎专用化成为发展趋势.在此重点论述了主题搜索引擎的信息采集策略,并给出了一种计算机主题搜索引擎设计方案. 相似文献
8.
面向主题Crawler的设计与实现 总被引：1，自引：0，他引：1
针对目前通用搜索引擎所搜索到的结果过多，与主题相关性不强的情况，提出了面向主题的搜索引擎，文章以主题相关度为核心研究和设计了主题crawler，为进行主题搜索引擎的研究奠定了良好的基础。 相似文献
9.
以何种策略来访问web资源是搜索引擎研究的热点之一。通过比较通用搜索引擎和专业搜索引擎的搜索策略,针对"最好策略"的几种策略方案进行了优缺点的分析,总结了关于提高网络爬虫搜索效率的关键,旨在使人们对爬虫的搜索算法有一个全面大概的了解。 相似文献
10.
11.
搜索引擎作为互联网信息获取的入口，实现高效、准确的信息获取非常重要，爬虫作为搜索引擎的上游，其重要性不言而喻，特别是大数据时代信息更新频繁，如何在第一时间获取新闻是实现爬虫时效性的重要因素。为了充分利用有限资源，提升带宽利用率，设计一种基于历史数据预测的爬虫调度算法。该算法通过抓取网站历史，更新频次积累数据，使用随机森林回归建立模型，并在系统中实现爬虫调度。实验结果表明，该策略在抓取新链的命中率上提升了46%，平均成本降低了11%，平均抓取延时降低了14%。 相似文献
12.
利用Python编程语言的Scrapy框架,为猫眼网站设计一个网络爬虫程序,对猫眼网页中《复仇者联盟4》的用户评论进行抓取。对抓取下来的网页信息进行信息提取,并将有用信息转换为dataframe格式存储到csv文件中;再将csv文件中的数据通过Pandas库进行提取排列,并利用Pyecharts库生成可视化图表的html页面;最后修改url中的setoff属性,通过改变starTtime的值,成功获取了更多评论。结果表明,比正常获取评论数的最大值990条多了16倍。 相似文献
13.
在大数据和移动互联网的时代背景下,舆情信息的迅猛增长为其采集与分析带来挑战。运用分布式计算技术,有利于对领域海量主题舆情的快速采集与分析。研究主题舆情采集与分析关键技术,包括主题舆情采集技术、领域词典和中文分词,探讨分布式计算环境下的主题舆情采集与舆情数据分析,并利用面向对象的分析与设计方法,基于开源爬虫设计并实现了一个分布式主题舆情采集与分析系统。利用4个爬虫节点进行分布式采集,相比传统采集模式,该系统的平均采集速度提升了2.74倍。 相似文献
14.
15.
话语的权势关系与主位选择 总被引：3，自引：0，他引：3
话语具有线性特征，说话者必须选择合适的成分作为话语的起点，即选择恰当的主位作为话语信息的出发点。同时，不同的主位也会帮助听话人接受不同的话语信息。本文试图以电视谈话类节目为语料，分析比较说明谈话中的权势关系会影响主位的选择，而对于主位的选择同时影响谈话中权势关系和谈话的受欢迎程度。 相似文献
16.
对VOA广播新闻英语中的导语及主体部分的信息结构加以分析可得出结论:主位结构并不一定和已知信息相对立,述位结构并不一定和新信息相对应; 在英语广播新闻中新信息比例较高,信息含量极大,对于英语听力教学有一些启示. 相似文献
17.
邱燕 《安庆师范学院学报(社会科学版)》2019,38(2):95-100
网络负面口碑影响旅游目的地的形象和游客的消费选择。及时关注本地区网络负面舆情,对于加强旅游监督管理,塑造良好的旅游城市形象具有重要的作用。构建网络负面口碑搜索关键词体系,运用网络搜索爬虫技术爬取负面舆情信息,根据负面信息数量计算旅游城市网络负面口碑指数,为旅游服务质量评价提供新的方法。研究表明,样本城市网络负面信息数量与游客出行量高度正相关,网络负面口碑指数与游客满意度之间呈较强的负相关关系。 相似文献
18.
朱德付 《合肥教育学院学报》2013,(6):70-73,88
传统语法学者普遍将“It型”分裂句看成是由“未分裂”句的转换形式,而信奉“加的夫语法”的语法学者则将前者认定为“强势主位结构”,并认为其与对应的基本形式之间存在着语用选择的问题,故相互之间并不存在转换的关系。如果不考虑语用方面,单就句子的信息结构和命题意义来说,上述特殊主位结构句基本上是能还原为基本主位结构句的（即去除“非信息项”）。试从功能语法中的主位结构、情态意义和极性逻辑等相关理论来对此还原来做一番探讨。 相似文献
19.
介绍了网络爬虫的工作原理,分析了传统的两种启发式算法——基于有限空间的A*搜索算法和局部搜索的爬山算法在网络爬虫中应用的可行性及局限性。并详细阐述了应用了模拟退火算法的网络爬虫网页搜索的过程,并结合一个搜索实验说明了基于模拟退火算法的网络爬虫搜索性能的优越性。 相似文献