共查询到20条相似文献，搜索用时 531 毫秒
1.
主要介绍了我们设计的Web主题信息采集系统的一项核心工作——Web信息主题的识别，主题识别算法从构造专业性较强的主题词典着手，充分分析和考虑Web网页文本的特点，从而大大提高了主题信息采集的效率和精度，该算法同样适用于其他领域的主题信息识别。 相似文献
2.
基于后缀树的中文新闻重复网页识别算法 总被引：1，自引：0，他引：1
针对识别中文新闻重复网页传统方法的不足,提出以后缀树作为基本数据结构,依据新闻网页的标题性和时间性,构建中文新闻重复网页识别算法。该算法以Ukkonen算法和Matching Statistics算法为基础,并对其具体实现进行优化。实验结果表明,该算法不仅具有有效性,而且对计算字符串相似度也有启发意义。 相似文献
3.
针对传统的信息抽取方法在提取卷期目录链接时精度不高的问题,本文提出一种基于网页分块和链接特征的卷期目录链接提取方法.首先,以网页标签树的布局标签为最小粒度,提出一种原子网页分块算法,将网页分割为若干个相互独立、互不包含的内容块;其次,根据内容块的子树结构,提出一种原子内容块聚类算法,通过合并相似内容块对网页进行语义块划分;最后,提出一种卷期目录链接块的识别算法,通过融合链接文本相似度和基于Bayes的语义分析方法识别出卷期目录链接区域,从而实现链接的提取.实验结果表明,本文提出的方法能够有效提取卷期目录链接. 相似文献
4.
在传统PageRank算法的基础上进行一些优化与改进,提出一种新的主题敏感的PageRank算法,通过计算超链接与领域向量的相似度来区分超链接对网页的贡献度,从而有效抑制主题漂移;同时为PageRank算法加入时间因子来防止PageRank偏重旧网页的问题,加入站内外区分因子来防止针对PageRank算法作弊的行为.改进算法弥补了原算法的不足,提高了主题搜索的效率. 相似文献
5.
提出一种基于内容规则的网页净化算法。包含两部分,先提出一种同层表间的比较迭代算法,通过迭代的方式对于网页中的噪声内容进行层层剥离。为进一步判断网页中锚文本与网页主题的相关性,又提出一种基于修正的编辑距离的计算锚文本的主题相似性的算法,在一定程度上考虑了网页的语义因素。该算法具有更高的准确度,同时具有很低的时间复杂度。实验结果表明,在对海量网页进行净化处理时,算法具有良好的效果。 相似文献
6.
陈定权 《现代图书情报技术》2004,20(2):42-45
首先分析了查找相关网页的一些相关算法，然后在标准的HITS算法基础上，提出了基于修正的HITS的查找相关网页算法。最后，通过实验来分析了这些算法的各自特点和不足。对基于超链分析的查找相关网页算法的研究，可以为用户提供一种新的检索和获取的信息的途径。 相似文献
7.
本篇论文以去除网页噪声,整合网页内容为目标,提出了面向主题型网页,根据网页规划布局抽取网页内容的方法.算法首先分析原始网页的DOM结构生成标签树,再根据标签分类和对应节点的信息对标签树自底向上进行划分,并依据划分块的文字密度,链接密度及图片密度,分类信息块.进一步,提炼网页主题的文本特征向量,采用基于词条空间的文本相似度计算,获取划分块的主题相关度,以主题相关度为量化基准剔除噪声,识别网页主旨内容,重构页面描述.这一算法被应用于面向人才资讯的信息采集项目中,实验表明,算法适用于主题型网页的"去噪"及内容提取,具体应用中有较理想的表现. 相似文献
8.
针对目前网络上的标题党新闻,提出一种标题党新闻自动识别的算法。通过分析新闻网页构成的特点,抽取出新闻标题和新闻正文;以句子关系矩阵为基础,提出一种以语句为单位的主题句抽取算法;根据句子相似度计算结果来进行判断。实验表明,本方法的识别精度可达到80%,是一种有效的方法。 相似文献
9.
10.
为实现海量英文学术文本中缩写词及对应缩写定义的识别,本文提出了一种自动缩写识别算法
MELearn-AI。该算法在人工标注数据集的基础上,从序列标注的角度,通过最大熵模型实现了计算机领域
英文学术文本中的自动缩写识别。MELearn-AI 在本文构建的评测数据集“Paren-sen”上得到了95.8% 的
查准率和86.3% 的查全率,相对于其他两组对照实验的效果有较为明显的提升。本文提出的自动缩写识别
方法能够在计算机领域的学术文本上取得令人满意的效果,有助于更好地理解并利用该领域术语。 相似文献
11.
针对主题爬行技术中的单一分类算法在面对多主题Web抓取和分类需求时泛化能力不强的局限,设计一种利用多种强分类算法形成的分类器组合,主题爬行器根据当前主题任务在线评估并为分类器排名,从中选择最优分类器分类的策略,并开展在多个主题抓取任务下的分类实验,比较每种分类算法的准确率和组合后的平均分类准确率以及对分类效率等评价指标的综合分析,结果证明该策略对领域局域性有所克服,普适性较强。 相似文献
12.
王非 《现代图书情报技术》2006,1(3):31-35
基于Web链接矩阵求解的排序算法是目前Web信息检索系统的主流排序算法，大体可以分为3类，基于随机漫游模型的、基于权威/中心网页关系模型、综合使用前两种模型的算法。在分别说明其代表算法的基本原理并讨论优劣之处后，提出一种基于链接矩阵的混合型算法。 相似文献
13.
通过挖掘网络日志中的查询词语义关系,将《知网》的语义知识加入到聚类算法中实现搜索引擎优化。该方法通过机器学习算法深入挖掘查询日志,对其中的查询串进行概念相似度、语义聚类等计算,使返回网页更加合理,将更准确的网页结果呈现在用户面前,能够更好地满足用户需求。 相似文献
14.
陶剑文 《现代图书情报技术》2006,1(12):49-53
引入移动Agent技术，提出一种面向E-Learning的集成群Agent与Web服务的分布式智能推荐系统模型，其能有效地帮助学员找到所需的信息。构造MASWSIRS的体系结构，说明系统的工作流程；详细阐述了MASWSIRS的各主要功能模块的实现算法，包括系统整体实现算法、系统聚簇算法及推荐算法。 相似文献
15.
《Journal of Web Librarianship》2013,7(3):239-262
Although the library's Web site has become a standard tool for seeking information and conducting research in academic institutions, there are a variety of ways libraries approach the often challenging—and sometimes daunting—process of Web site development and maintenance. Three librarians at Western Michigan University explored issues related to this topic by conducting a Web-based survey, which was sent to two librarians—Web services and reference/public services—at 149 academic institutions. Survey findings are discussed, including references to Web departments and committees, priority setting, Web authoring, soliciting input, outsourcing, content management systems, redesigns, and user involvement. The participants’ insights regarding the greatest challenges and what seems to be working or not working well are also outlined, in addition to the authors’ suggestions for future research in this area. 相似文献
16.
Web search algorithms that rank Web pages by examining the link structure of the Web are attractive from both theoretical and practical aspects. Todays prevailing link-based ranking algorithms rank Web pages by using the dominant eigenvector of certain matrices—like the co-citation matrix or variations thereof. Recent analyses of ranking algorithms have focused attention on the case where the corresponding matrices are irreducible, thus avoiding singularities of reducible matrices. Consequently, rank analysis has been concentrated on authority connected graphs, which are graphs whose co-citation matrix is irreducible (after deleting zero rows and columns). Such graphs conceptually correspond to thematically related collections, in which most pages pertain to a single, dominant topic of interest.A link-based search algorithm A is rank-stable if minor changes in the link structure of the input graph, which is usually a subgraph of the Web, do not affect the ranking it produces; algorithms A,B are rank-similar if they produce similar rankings. These concepts were introduced and studied recently for various existing search algorithms.This paper studies the rank-stability and rank-similarity of three link-based ranking algorithms—PageRank, HITS and SALSA—in authority connected graphs. For this class of graphs, we show that neither HITS nor PageRank is rank stable. We then show that HITS and PageRank are not rank similar on this class, nor is any of them rank similar to SALSA.This research was supported by the Fund for the Promotion of Research at the Technion, and by the Barnard Elkin Chair in Computer Science. 相似文献
17.
Web挖掘技术在电子商务中的应用研究 总被引：16，自引：0，他引：16
本文基于国内外最新研究成果对电子商务中应用的Web挖掘技术进行了研究。对于个性化电子商务网站中难以发现用户行为特征问题 ,给出了基于Web日志的客户群体聚类算法及Web页面聚类算法。利用这些Web挖掘技术可有效挖掘用户个性特征 ,从而指导电子商务网站资源的组织和分配。 相似文献
18.
《Journal of Web Librarianship》2013,7(4):145-161
The Invisible Web—defined as Web information that cannot be found by using general-purpose search engines—has been studied primarily as an access issue. In this article, the authors consider, for the first time, the economic and political implications of the Invisible Web. The article is divided into two parts; the first looks at the “open” Web, accessible through URLs, while the second delves into the Dark Web, hidden behind veils of anonymity. The two main questions asked are: How is the Invisible Web shaped by economic and political factors and how, in turn, does the Invisible Web shape those circumstances? With the answers to these questions, the authors hope to bring more awareness of the Invisible Web to the information literacy classroom. 相似文献
19.
在分析传统网络爬行器爬行算法的基础上,通过将隧道算法和网页页面分块技术相结合,指导专题爬行器进行爬行。通过4所高校门户网站的教育资源搜索实验表明,新的算法可以有效提高搜索效率。 相似文献
20.
Web信息主题采集技术研究 总被引：9，自引：0，他引：9
简单介绍主题信息采集系统;从5个方面对其核心技术进行深入研究,包括种子页面生成、主题表示、相关度计算策略、爬行策略以及结束搜索策略等;详细讨论种子页面生成的人工方式、自动方式及混合方式,基于关键词的主题表示与基于Ontology的主题表示,多种相关度计算启发式策略比较,基本爬行策略与隧道技术以及结束爬行的多种情形等;在分析相关技术的算法、特点与应用情况的同时,针对主题信息采集特点提出相应的改进意见。 相似文献