共查询到19条相似文献，搜索用时 375 毫秒
1.
针对信息检索中存在的词语排除关系问题，给出排除词的定义并说明排除词在信息检索中的作用。指出排除词实质上是最大准交集型歧义切分字段的伪歧义切分所导致的，描述排除词的识别方法，并给出识别的结果，并在实际的信息检索平台上对排除词词库进行应用测评。 相似文献
2.
随着计算机科学的发展,自然语言处理技术在计算机信息检索系统中的应用越来越广泛。对自然语言处理的研究已经成为信息处理系统中的一个重要课题。语词切分是汉语自然语言处理的第一个阶段。目前,计算机自动分词系统的精度尚不能满足实际需求。本文针对影响切分精度的根本因素——歧义现象,提出了采用神经网络模式识别来消除歧义的方法,以达到提高切分精度的目的。 文中对歧义字段进行了分类,分析了其表现形式和现有的消歧机制,以及歧义切分与模式识别之间的关系,研究了神经网络模式识别方法与歧义切分问题相适应的特点。遵循模式识别的一般步骤,对歧义字段进行特征提取,然后,选用神经网 相似文献
3.
在中文切分算法设计上,好的算法一般要注重两个方面,一个是提高切分精度,另一个是提高切分速度。本文在逆向最大匹配的算法切分基础上,结合临近匹配算法在中文切分速度方面的优势,提出了一种逆向匹配快速切分算法。此算法由于使用了索引排序查找,所以在速度上比一般的全库扫描更快;在切分精度上,根据汉语语句中心语偏后的特点,采用了逆序匹配,可以更进一步提高切分精度。并通过在综合语料库中的语料上的分析,交集型歧义的自动消解上有着很好的优势。 相似文献
4.
歧义字段的处理是汉语自动分词系统中重要而困难的问题之一.歧义处理正确率的高低直接影响着分词的质量.为了解决汉语自动分词系统中的歧义问题,本文基于<知网>的义原关系,在分析了影响词语语义相关度的主要因素后,引入相关度计算,利用<知网>中义原之间的纵向和横向关系及实例因素计算出不同词性的相关度,根据相似度的对称性计算实例的影响因素,由此来提高语义相关度的准确率,同时针对所提出的方法给出了实例验证.实验结果表明,该方法计算得到的语义相关度结果更加合理,为消除汉语自动分词中的歧义问题提供了良好的支撑依据,也使得汉语自动分词系统处理歧义字段更有效. 相似文献
5.
基于双向最大匹配和HMM的分词消歧模型* 总被引：1，自引：0，他引：1
提出一种消减分词切分歧义的模型。利用正向和逆向最大匹配方法对中文文本信息进行分词,基于隐马尔科夫模型对两次最大匹配的分词结果进行对比消歧,得到较为精确的结果。整个过程分为歧义发现、歧义抽取、歧义消除3个过程。测试结果显示,该模型能有效地降低分词歧义引起的错误切分率。 相似文献
6.
自适应分词算法中的未登录词识别技术研究 总被引：2，自引：0，他引：2
深入研究了未登录词识别技术,并提出了一种新的未登录词识别算法,包括其中的数量词识别规则、边界单字规则、虚字辅助规则、未登录词记忆识别规则以及左右方探测法选取未登录词规则等,使得算法在不依赖大型语料库的前提下可以有效地识别多种领域中各种类型的未登录词.同时,算法通过对绝大部分的交集歧义的识别有效地解决了识别未登录词时导致的新的切分歧义的问题.在网络时文的开放性测试中,分词算法的分词准确率约为90.1%,未登录词识别的准确率、召回率分别为91.2%和94.7%. 相似文献
7.
三字歧义链自动分词方法 总被引：3，自引：0，他引：3
歧义问题是自动分词系统中要解决的主要问题之一。本文介绍一种在最大匹配法基础上,根据大量的真实语料中出现的歧义现象,把可能产生歧义切分的词进行特性分类,对每类确定一组规则进行处理 相似文献
8.
中文科技文献计算机自动标引系统的研究 总被引：2，自引：0，他引：2
本文针对目前国内外各种计算机自动标引的理论和方法在知识表达方式、词典结构、词的切分和组配、歧义处理等方面所存在的不足，提出了词典基于静态知识表达的网状结构，较好地解决了词典的完备性与存储空间的矛盾；同时使知识的表达更为简洁实用，为切分歧义难点的根本解决提供了方法论。 相似文献
9.
10.
神经网络技术在汉语歧义切分中的应用 总被引：4，自引：1，他引：3
针对目前汉语自动分词系统中切分歧义的难点,本文提出利用神经网络模式识别的方法帮助消歧。介绍了所建立的实验系统,并进行了实验分析。 相似文献
11.
12.
Improving English and Chinese Ad-Hoc Retrieval: A Tipster Text Phase 3 Project Report 总被引：1，自引：1，他引：0
K.L. Kwok 《Information Retrieval》2000,3(4):313-338
Both English and Chinese ad-hoc information retrieval were investigated in this Tipster 3 project. Part of our objectives is to study the use of various term level and phrasal level evidence to improve retrieval accuracy. For short queries, we studied five term level techniques that together can lead to good improvements over standard ad-hoc 2-stage retrieval for TREC5-8 experiments. For long queries, we studied the use of linguistic phrases to re-rank retrieval lists. Its effect is small but consistently positive.For Chinese IR, we investigated three simple representations for documents and queries: short-words, bigrams and characters. Both approximate short-word segmentation or bigrams, augmented with characters, give highly effective results. Accurate word segmentation appears not crucial for overall result of a query set. Character indexing by itself is not competitive. Additional improvements may be obtained using collection enrichment and combination of retrieval lists.Our PIRCS document-focused retrieval is also shown to have similarity with a simple language model approach to IR. 相似文献
13.
Xiangji Huang Fuchun Peng Dale Schuurmans Nick Cercone Stephen E. Robertson 《Information Retrieval》2003,6(3-4):333-362
We propose a self-supervised word segmentation technique for text segmentation in Chinese information retrieval. This method combines the advantages of traditional dictionary based, character based and mutual information based approaches, while overcoming many of their shortcomings. Experiments on TREC data show this method is promising. Our method is completely language independent and unsupervised, which provides a promising avenue for constructing accurate multi-lingual or cross-lingual information retrieval systems that are flexible and adaptive. We find that although the segmentation accuracy of self-supervised segmentation is not as high as some other segmentation methods, it is enough to give good retrieval performance. It is commonly believed that word segmentation accuracy is monotonically related to retrieval performance in Chinese information retrieval. However, for Chinese, we find that the relationship between segmentation and retrieval performance is in fact nonmonotonic; that is, at around 70% word segmentation accuracy an over-segmentation phenomenon begins to occur which leads to a reduction in information retrieval performance. We demonstrate this effect by presenting an empirical investigation of information retrieval on Chinese TREC data, using a wide variety of word segmentation algorithms with word segmentation accuracies ranging from 44% to 95%, including 70% word segmentation accuracy from our self-supervised word-segmentation approach. It appears that the main reason for the drop in retrieval performance is that correct compounds and collocations are preserved by accurate segmenters, while they are broken up by less accurate (but reasonable) segmenters, to a surprising advantage. This suggests that words themselves might be too broad a notion to conveniently capture the general semantic meaning of Chinese text. Our research suggests machine learning techniques can play an important role in building adaptable information retrieval systems and different evaluation standards for word segmentation should be given to different applications. 相似文献
14.
基于反序词典的中文逆向最大匹配分词系统设计* 总被引：6，自引：0，他引：6
介绍几种常见的分词算法，在改进传统的反序词典、优化逆向最大匹配算法的基础上，设计并实现基于逆向最大匹配的中文分词系统，试验证明速度和精度都有显著提高。 相似文献
15.
16.
在日趋激烈的竞争环境下如何更有效地为多元观众服务,是当今中国多数博物馆正在思考并期待解决的问题。本文以西方博物馆普遍使用的分众策略为对象,讨论博物馆分众的意义,并从四个角度梳理、分析现有的博物馆分众研究及相关实践,即基于来源地角度、基于社会人口学角度、基于心理因素与基于行为因素的分众。基于心理因素和行为因素的分众研究相较之下比基于来源地和社会人口学角度的分众研究对分众服务更具指导意义;依赖单一的分众角度的研究不能有效地帮助分众服务。博物馆可以充分利用不同类型的展览兼顾“分众”和“大众”服务,以“项目运作”作为一种分众服务策略,有规划地履行为公众服务的使命。 相似文献
17.
汉语自动分词研究展望 总被引：13，自引：1，他引：13
汉语自动分词是计算机中文信息处理中的难题。本文通过对现有分词方法的分析，指出了今后汉语自动分词研究的三个发展方向，即对传统文本的有效切分，计算机技术的快速发展，改造书面汉语书写规则。 相似文献
18.
全二分快速自动分词算法构建 总被引：1，自引：0，他引：1
张海营 《现代图书情报技术》2007,2(4):52-55
分析现有分词算法存在的不足，在此基础上提出一种新的分词词典，通过为分词词典建立首字Hash表和词索引表两级索引，使得该分词词典支持全二分最大匹配分词算法，利用该分词算法进行自动分词，其时间复杂度实现了大的改善。 相似文献
19.
基于词形的汉语文本切分方法 总被引：3，自引：0，他引：3
本文在分析汉语分词一般模型基础上,引入词形概率、词整合系数和词形网格等概念,提出了一个基于词形的汉语文本切分模型,并实现了一个反向动态规划和正向栈解码相结合的二次扫描的汉语文本切分算法。由于引入了词形概率、词整合系数,本模型不仅反映了词形统计构词规律,而且在一定程度上体现了长词优先的切分原则。初步测试表明,本方法的切分准确率和消歧率分别可达９９６％和９３４４％。 相似文献