中文网页信息标引技术及其在内容搜索中的应用     

王兰成  李留英  秦蓁珍  李超 《信息管理(上海)》2005,18(3):53-58

本文论述网络环境下中文网页信息的自动标引技术，具体研究分析了面向信息检索的自动分词与词表技术，提出了一个中文网页自动标引的改进方案，以更好地实现中文网络信息资源的自动处理，最后从文档到知识转变的视角，研究第三代网页内容搜索中应用中文信息自动标引的技术问题。  相似文献   

学科门户智能搜索引擎的设计与构建——农业史门户搜索引擎的实验   总被引：1，自引：0，他引：1  

刘竟  侯汉清 《情报学报》2009,28(1)

面对搜索引擎基于关键词全文检索导致检索准确度低和学科信息门户加工描述只到站点级别的问题,作者提出了将搜索引擎和学科信息门户结合构建智能学科门户搜索引擎的建议--在经过学科专家筛选的、学科信息门户目录中的高质量网站中自动收集网页,形成网页索引,利用自动标引与自动分类方法对收集到的网页进行标引和分类,最后通过分类浏览目录与主题词检索的方式,向用户提供学术资源网页的查找.文章重点介绍了智能学科门户搜索引擎的网页采集、网页自动标引与自动分类及用户接口的设计与实现,并对该搜索引擎存在的问题进行了分析和讨论.  相似文献   

基于知识库的网页自动标引和自动分类系统的设计   总被引：15，自引：0，他引：15  

侯汉清  薛鹏军 《大学图书馆学报》2004,22(1):50-55,64

针对中文网页文本信息特征,提出了信息标引和组织方案,并构建了一个基于知识库的网页自动标引和自动分类系统。中文网页的自动标引和自动分类思想主要基于知识库进行。知识库实际上是一个基于《中图法》的专家知识系统,包括了中图法库、汉表库、分类号主题词对应库、同义词库、关键词库等若干数据库。在确定网页基本信息标引源的基础上,中文网页主题标引运用了基于词频的统计加权法;通过与分类号一主题词对应库主题词串的词面相似度计算,进一步完成中文网页的分类标引。最后还讨论了新词识别等技术问题。  相似文献   

基于多词表的自动标引技术研究——新华社新闻稿自动标引的实验   总被引：9，自引：0，他引：9  

查贵庭  侯汉清 《情报学报》2002,21(3):273-277

避开汉语分词中的技术特点 ,转向基于多词表自动标引抽词研究是当前中文信息自动主题与分类标引可以采取的一种策略 ,也是最为可行的方法。本文以新华社新闻稿中的题名和导语为对象 ,详细介绍了基于多词表自动标引技术中的词表构建、自动抽词、主题标引和自动分类等技术。并成功设计了新闻信息自动标引的实验系统 ,取得了较好的效果。  相似文献   

新闻数据库自动标引与自由标引的比较实验     

吴家云 《现代图书情报技术》1999,15(4):15-17

通过采用单汉字索引技术在ＦＯＸＰＲＯ环境下自行设计的实验系统,以《新华日报》为例,实验比较了在自动标引方式和自由标引方式下新闻信息数据库的检索效率,并分析了两种标引方式对检索效率的影响关系,从而探讨用机器自动标引替代手工自由标引的可能性。文章还提出了改进的建议及实验需要的原则。  相似文献   

内存计算技术在图书馆快速自动信息标引工作中的应用     

《兰台世界》2015,(26)

内存计算技术在图书馆自动信息标引中的应用提高了标引的效率。内存计算需要将计算机硬件和软件结合在一起,并且同时实现硬件和软件的创新。文章分析了内存计算在图书馆自动信息标引中的应用,并对其未来发展进行了展望。  相似文献   

自动标引研究进展     

余春 《图书馆学研究》2012,(4):18-22

近五年来自动标引研究在关键词抽取、标引系统设计、自动分类标引、网络信息自动标引、数字图像标引、音频信息标引、视频信息标引、自动标引结果评价等方面取得很大进展,但尚存弱点与不足之处,还不能达到人工标引的效果。今后的研究将朝着探索更优越的语言分析技术、更高端的多媒体信息自动标引方法、高效的知识库智能自学习机制、多种标引方法或模型的互补的集成学习等方向发展。  相似文献   

基于词汇链的关键词自动标引方法     

李纲  戴强斌 《图书情报知识》2011,(3):67-71

关键词自动标引是一种识别有意义且具有代表性片段或词汇的自动化技术。关键词自动标引可以为自动摘要、自动分类、自动聚类、机器翻译等应用提供辅助作用。本文利用基于知网的词语语义相关度算法对词汇链的构建算法进行了改进,并结合词频和词的位置等统计信息,进行关键词的自动标引。实验证明,该方法可以有效的进行关键词的自动标引。  相似文献   

中文网页标引源主题表达能力的调查统计   总被引：22，自引：1，他引：21  

丁璇  侯汉清  章成志 《大学图书馆学报》2002,20(6):70-72

通过对随机采集的300篇中文经济类网页进行人工自由标引、人工打分、词频统计,并进行统计数据的分析,得出网页内容主题与网页题名、文章标题等12个标引源的关系,分析中文网页的不同部位的主题表达能力,并为之设计加权标引时的适当权值,以便为自动标引及人工智能搜索引擎的研制提供数据。  相似文献   

搭建图片多维度标引体系验证系统     

董海涛 《中国传媒科技》2016,(4):31-32

目前大多数媒体机构建设的图片编辑系统都没实现对图片的自动标引功能,基于对图片的自动标引的研究,本论文实验搭建的图片标注系统目标是建成覆盖范围广、现代高效、国际领先的全天候采、编、发、售平台,适应各类图片信息市场需求,成为资源量大、技术平台先进、用户覆盖面广的图片库之一,在图片的加工、管理、检索、发布等方面建立搭建验证系统,进而为未来实现完善的图片编辑系统打下坚实基础。  相似文献   

基于本体和DOM相结合的Web信息抽取器   总被引：1，自引：0，他引：1  

柳佳刚  陈山  贺令亚 《现代图书情报技术》2009,25(5):44-49

针对基于Web页面信息本体的信息抽取不能准确划定抽取区域的缺点,设计基于本体和DOM相结合的Web信息抽取器。利用DOM树设计对样本页面信息项路径进行归纳学习的算法,该算法能准确划定信息抽取区域,降低页面噪声,实现对Web页面的预处理。实验表明,改进后的抽取方法提高了Web信息的抽准率。  相似文献   

虚拟图书馆中网页的自动分类研究   总被引：1，自引：0，他引：1  

臧国全 《现代图书情报技术》2002,18(3):28-31

概括了国内外对电子文本及Web网页进行自动分类的研究和试验,论述了虚拟图书馆中对网页进行自动分类与一般搜索引擎中对网页进行自动分类的区别,提出了一种用于虚拟图书馆中对网页进行自动分类的方法,并描述了按照此方法建立的“图书馆学情报学”虚拟图书馆的自动分类系统,对分类结果进行了分析。  相似文献   

基于页面内容和链接结构的超链接主题预测算法     

刘红  邵晓良  胡吉兵 《现代图书情报技术》2005,21(5):41-45

主要介绍了设计开发Web主题信息采集系统的一个核心算法——超链接主题预测算法。文章在已有理论的基础上，通过实验分析，发现超链接的主题主要取决于三个因素：父网页的主题相关度、锚文本的主题相关度和Web子图的链接结构特性，从而提出了基于Web页面内容和链接结构的超链接主题预测算法，系统评价结果显示该算法有很好的效果。  相似文献   

基于超链分析的Web资源自动发现技术   总被引：2，自引：0，他引：2  

陈定权 《图书情报工作》2003,47(9):94-98

传统的Web资源自动发现是基于Web页面内容实现的。本文试图从超链分析的角度探讨Web资源的自动发现技术。超链分析技术起源于社会网络分析和科学引文分析理论,它只分析页面之间的关系,而不关心页面本身的属性。通过试验证明,单纯使用超链,根据用户提供的网页实例,我们能够自动发现与学科资源相关的网站。该技术可以有效的减少网络爬行器的无谓爬行,提高采集效率,减轻网络负担,在学科资源建设中起了重要的作用。  相似文献   

一种基于内容规则的网页去噪算法*     

王建冬  王继民  田飞佳 《现代图书情报技术》2008,24(3):51-54

提出一种基于内容规则的网页净化算法。包含两部分,先提出一种同层表间的比较迭代算法,通过迭代的方式对于网页中的噪声内容进行层层剥离。为进一步判断网页中锚文本与网页主题的相关性,又提出一种基于修正的编辑距离的计算锚文本的主题相似性的算法,在一定程度上考虑了网页的语义因素。该算法具有更高的准确度,同时具有很低的时间复杂度。实验结果表明,在对海量网页进行净化处理时,算法具有良好的效果。  相似文献   

基于ID3分类算法的深度网络爬虫设计   总被引：1，自引：0，他引：1  

王舜燕  李蕾  吴兵华 《现代图书情报技术》2008,3(6):41-45

针对目前Web信息挖掘中存在的信息覆盖率较低的问题,对网络爬虫系统进行研究,提出一种针对深度网络的、基于ID3分类算法的Web页面收集方法。对Web页面的特征进行分析、处理和分类,提取包含深度网页的表单,通过自动提交这些表单来进行更深和更广的页面获取,实验表明该方法可以有效减少现有搜索引擎的盲区,改善搜索结果。  相似文献   

Web页面中文文本主题的自动提取研究   总被引：14，自引：1，他引：13  

韩客松  王永成  滕伟 《情报学报》2001,20(2):217-223

Internet上的内容日益增多 ,搜索引擎返回的结果往往冗长。本文首先讨论Web页面文本与一般文本的四个不同点 ,然后介绍一种以统计方法为主、以匹配校验为辅的Web页面中文文本主题自动提取方法 ,它能帮助用户在最短时间内了解当前页面的主题。实验显示 ,所提取的前15个字串 ,反映主题的平均正确率在 85%以上 ,而处理时间仅为几十到几百毫秒。  相似文献   

基于全信息的站点页面预取研究     

易明 《现代图书情报技术》2006,1(7):47-51

在分析现有站点页面预取研究方法的基础之上，认为站点页面预取过程实质上就是“点击流”信息资源获取、开发与利用，而“点击流”信息资源获取、开发与利用也就是“点击流”信息不断运动的过程。针对这一信息运动过程，应用全信息理论，剖析“点击流”信息的含义与层次，并以此为基础构建“点击流”信息运动过程模型（站点页面预取原理模型），进而提出基于全信息的站点页面预取方法体系，并指明各种方法的拓展方向。  相似文献   

A framework to compute page importance based on user behaviors     

Yuting Liu  Tie-Yan Liu  Bin Gao  Zhiming Ma  Hang Li 《Information Retrieval》2010,13(1):22-45

This paper is concerned with a framework to compute the importance of webpages by using real browsing behaviors of Web users. In contrast, many previous approaches like PageRank compute page importance through the use of the hyperlink graph of the Web. Recently, people have realized that the hyperlink graph is incomplete and inaccurate as a data source for determining page importance, and proposed using the real behaviors of Web users instead. In this paper, we propose a formal framework to compute page importance from user behavior data (which covers some previous works as special cases). First, we use a stochastic process to model the browsing behaviors of Web users. According to the analysis on hundreds of millions of real records of user behaviors, we justify that the process is actually a continuous-time time-homogeneous Markov process, and its stationary probability distribution can be used as the measure of page importance. Second, we propose a number of ways to estimate parameters of the stochastic process from real data, which result in a group of algorithms for page importance computation (all referred to as BrowseRank). Our experimental results have shown that the proposed algorithms can outperform the baseline methods such as PageRank and TrustRank in several tasks, demonstrating the advantage of using our proposed framework.  相似文献