共查询到18条相似文献，搜索用时 156 毫秒
1.
2.
殷波 《现代图书情报技术》2008,(Z1)
以去除冗余网页为目标,分析搜索引擎工作原理,讨论现有的去重算法,并提出基于Suffix Tree的倒排索引改进算法.实验表明该算法有着优秀的判断文档相似度的特性.最后对现有去重算法进行分析总结并提出网页去重新思路,以便进行下一步研究. 相似文献
3.
4.
5.
基于本体进行自动分类的元搜索引擎的设计与实现 总被引：1，自引：0，他引：1
王梅文 《现代图书情报技术》2008,24(9):58-63
研究基于本体对元搜索引擎查询结果进行自动分类的方法,依据事先构建的药学本体,实现基于本体对元搜索引擎的网页结果进行自动分类的实验系统,形成层次清晰、逻辑合理的分类显示结果界面。最后对实验系统的准确度进行评价,网页分类基本取得预期的效果。 相似文献
6.
基于关键字匹配的搜索引擎排序网页时仅仅考虑评价网页的重要性,而忽视分类;基于分类目录的搜索引擎很难动态分析Web信息。本文在分析它们不足的前提下,提出利用模糊聚类的方法对搜索引擎的检索结果进行动态分类,依据超链分析算法PageRank和Web文档隶属度相结合进行分类排序,并给出具有调节值的结合公式。实验证明,该算法能够更有效地满足用户的需要,提高检索效率。 相似文献
7.
一种HTML网页净化方法 总被引：35，自引：1，他引：35
Web网页中的“噪音”是影响基于网页内容的Web应用系统工作质量的一个重要因素 ,快速准确地清除网页中的噪音内容是提高Web应用服务质量的关键技术之一。本文提出一种网页净化的方法及相应算法。该方法以一组启发式规则为基础 ,利用信息检索的技术以及Web网页的特征 ,提取网页的主题以及和主题相关的内容 ,从而达到网页净化的目的。该方法已经应用于搜索引擎系统 (天网 )的网页消重过程以及一个网页自动分类系统。通过网页净化对原有系统质量的改进验证了本文提出方法的正确性和有效性。 相似文献
8.
针对目前搜索引擎返回结果的海量性，构建一个元搜索引擎，旨在高效利用多个成员搜索引擎返回的结果。介绍元搜索引擎的基本架构及当前结果融合的主要方法，应用统计学方法研究网页标题、网页摘要与网页文本之间的相关性关系，从而确定相关度权值进行结果相关性判断。实验证明，元搜索引擎搜索结果的平均准确率比各个成员引擎的搜索结果平均准确率都有较大提高。 相似文献
9.
一种基于DNS的分层式网页搜索引擎研究 总被引：1，自引：0，他引：1
本文提出了一种新的"基于DNS的网页搜索引擎"。该搜索引擎采用分层的分布式结构,理论上可以覆盖全部的互联网网页,且其网页数据库可做到日更新。可以作为构建数字图书馆的实用搜索引擎。 相似文献
10.
基于C/S的新一代智能化、个性化搜索引擎 总被引：3，自引：0，他引：3
本文探讨一个基于C/S的新一代智能化、个性化搜索引擎。整个搜索引擎分为客户端和服务器端两大部分。在客户端,智能代理Agent在个性化模型数据库的支持下产生个性化的检索要求,送往服务器。服务器端为了实现个性化服务,利用领域知识库和兴趣库对原始网页数据库进行数据挖掘,聚类形成各个类型的网页索引数据库。本文并给出了用户兴趣模型算法、挖掘用户兴趣关联规则的Apriori算法和K-modes聚类算法。 相似文献
11.
基于后缀树的中文新闻重复网页识别算法 总被引：1，自引：0，他引：1
针对识别中文新闻重复网页传统方法的不足,提出以后缀树作为基本数据结构,依据新闻网页的标题性和时间性,构建中文新闻重复网页识别算法。该算法以Ukkonen算法和Matching Statistics算法为基础,并对其具体实现进行优化。实验结果表明,该算法不仅具有有效性,而且对计算字符串相似度也有启发意义。 相似文献
12.
Ajax站点数据采集研究综述* 总被引：1，自引：0，他引：1
夏天 《现代图书情报技术》2010,26(3):52-57
从Ajax链接元素的识别、页面状态标识、页面状态可控性转换、页面状态内容动态获取和状态重复检测5个方面介绍Ajax数据采集所取得的最新研究进展,总结系统的整体处理流程和支撑技术,探讨新的发展趋势,推动Ajax数据采集问题展开更为深入的研究。 相似文献
13.
基于句子相似度的文档复制检测算法研究 总被引：3，自引：0，他引：3
秦新国 《现代图书情报技术》2007,2(11):63-66
提出一种基于句子相似度的文档复制检测技术，在抓住文档的全局特征的同时又兼顾文档的结构信息，克服以往检测算法两者不可兼顾的缺陷，提高检测精度。最后，给出该算法与其他算法检测结果的比较情况。实验证明，该算法是可行的。 相似文献
14.
综述国内外学术论文复制检测的研究现状,针对存在的问题提出以后研究的新思路： 构建某一学科领域学术论文语料库;以信息论为工具,针对某学科领域建立基于学术论文语料库的统计语言模型;结合学术论文抄袭剽窃的特点,通过赋予描述资源对象语义信息的不同元数据项以不同的权函数,设计相似度算法;使用Lemur工具箱,在标准的TREC文档集上对模型和算法进行检验;与Turnitin侦探剽窃系统进行实验对比,评价该模型和算法的有效率和效果。 相似文献
15.
本文详细介绍网络资源保存技术策略现状,并从国家图书馆网络资源采集的实际业务需求出发,制定并设计符合国家图书馆业务需求的增量采集技术策略,简述国家图书馆基于Heritrix3.4的增量采集实现方法和实验效果,以期为业界提供有益的参考和借鉴。 相似文献
16.
[目的/意义]基于科技论文多特征项共现突发强度的分析方法研究是将各学科领域科技论文文献载体中的多特征项共现信息定量化、重点热点突发的信息内容可视化的知识图谱分析方法。从动态论文等文献的文档流中探测出突发的特征项对识别密集的内容、活跃的特征项以及预测文本内容的发展走势具有重要的意义。[方法/过程]本研究针对科技论文多特征项共现的突发监测问题,对比目前已有的突发监测分析算法,将改进后的基于卡方统计的热点词计算方法进一步应用于本研究所设计的多特征项突发共现分析方法,并自主开发多特征项突发共现可视化分析工具,用于科技论文多特征项突发共现的图谱可视化,以期通过该研究来揭示相关科技文献的变化状况及突发的热点内容。[结果/结论]通过将本方法应用到科研机构年度发表论文的监测当中,可以监测分析科研机构发文作者、关键词、发表期刊及其相互间关系(如作者-关键词等)在各年的突发情况,并能通过该分析方法以及交叉图谱进一步解读突发特征项的含义,并能揭示出比分析单一特征项突发情况更为广泛和深入的知识内容。 相似文献
17.
[目的/意义] , 从大规模已知文本集中检测出与待检测论文的相似文本并计算相似度大小, 用于满足在线论文相似性检测秒级响应需求。[方法/过程] 采用分治法策略, 对已知文本句集进行基于正交基的软聚类预处理, 并对软聚类后的每个簇建立倒排索引。接着在快数据处理平台Spark上执行相似性检测, 采用字符结合词组形式计算出待检测论文与已知文本的相似度大小。[结果/结论] 通过200万规模的已知文本集实验结果显示, 综合4种类型的待检测论文, 所提出的倒排索引结合软聚类算法准确率P为100.0%, 召回率R为93.6%, 调和平均值F为96.7%。调和平均值F比相似性检测算法LCS高10%左右, 比Simhash算法高约23%。在检测速度上, 对于一篇字数为5 000左右的待检测论文, 检测时间约为6.5秒, 比Simhash算法快近300倍, 比LCS算法快约4 000倍。此外, 实验结果还表明基于Spark的分布式并行相似性检测算法具有较好的可扩展性。 相似文献
18.