基于双向最大匹配和HMM的分词消歧模型*   总被引：1，自引：0，他引：1  

麦范金  王挺 《现代图书情报技术》2008,24(8):37-41

提出一种消减分词切分歧义的模型。利用正向和逆向最大匹配方法对中文文本信息进行分词,基于隐马尔科夫模型对两次最大匹配的分词结果进行对比消歧,得到较为精确的结果。整个过程分为歧义发现、歧义抽取、歧义消除3个过程。测试结果显示,该模型能有效地降低分词歧义引起的错误切分率。  相似文献   

自适应分词算法中的未登录词识别技术研究   总被引：2，自引：0，他引：2  

程冲  黄水清 《情报学报》2009,28(4)

深入研究了未登录词识别技术,并提出了一种新的未登录词识别算法,包括其中的数量词识别规则、边界单字规则、虚字辅助规则、未登录词记忆识别规则以及左右方探测法选取未登录词规则等,使得算法在不依赖大型语料库的前提下可以有效地识别多种领域中各种类型的未登录词.同时,算法通过对绝大部分的交集歧义的识别有效地解决了识别未登录词时导致的新的切分歧义的问题.在网络时文的开放性测试中,分词算法的分词准确率约为90.1%,未登录词识别的准确率、召回率分别为91.2%和94.7%.  相似文献   

基于虚词停顿的中文分词消歧研究     

麦范金  李东普 《图书情报工作》2010,54(14):121-125

提出一种基于虚词停顿的中文分词消岐的模型。首先利用建立的虚词知识库对文本进行粗分词-划分停顿,然后对句子中停顿间的短语用双向最大匹配再进行分词,提取歧义部分,最后使用N-Gram模型和数据平滑等技术处理。整个过程分为粗分词、精分词和歧义消除三个过程。测试结果显示,该模型能有效地降低词歧义引起的错误切分率。  相似文献   

基于受限领域的中文分词系统     

王娟  曹庆花  黄精籼  胡忠胜 《信息系统工程》2011,(11):106-106,137

针对受限领域的特点及现有分词面临的困难,比较现有分词的方法,选择并改进了最大分词算法,设计了一个基于受限领域的中文分词系统,在一定程度上比较好地解决了未登录词和分词歧义的问题。  相似文献   

交集型歧义字段切分方法研究   总被引：19，自引：0，他引：19  

闫引堂  周晓强 《情报学报》2000,19(6):637-643

本文通过动态建立独立成词能力频次库的方法以及基于词语/词性搭配的规则库,对交集型歧义字段进行处理,大大提高了切分正确率。在4万语料的开放测试中,交集型歧义字段的切分正确率可达98％以上。  相似文献   

基于两字词簇的汉语快速自动分词算法   总被引：10，自引：1，他引：9  

郭祥昊 《情报学报》1998,(5):1

本文提出了一种快速汉语自动分词算法。其主要思想是利用汉语中两字词占７５％的统计规律,提出了两字词根和两字词簇的概念。算法把三音节以上的词用两字词簇来压缩处理,也就是把长词的扫描范围限定在词汇量很小的词簇内,从而不仅提高了分词速度,而且彻底解决了传统最大匹配分词算法中最大匹配词长的设定问题。另外,本文还提出了用两字词簇快速检测交叉歧义的算法。本文的分词算法简洁、速度快、易于实现  相似文献   

国内中文自动分词技术研究综述   总被引：22，自引：0，他引：22  

奉国和  郑伟 《图书情报工作》2011,55(2):41-45

认为分词是文本自动分类、信息检索、信息过滤、文献自动标引、摘要自动生成等中文信息处理的基础与关键技术之一,中文本身复杂性及语言规则的不确定性,使中文分词技术成为分词技术中的难点.全面归纳中文分词算法、歧义消除、未登录词识别、自动分词系统等研究,总结出当前中文分词面临的难点与研究热点.  相似文献   

汉语分词有向图的快速生成算法   总被引：4，自引：0，他引：4  

李大农  董慧 《情报学报》2004,23(1):36-39

给出了一种汉语分词有向图的快速生成算法。所构造的有向图可以作为机械分词、消除歧义以及进一步分析句子的基础。  相似文献   

全文检索中的汉语自动分词及其歧义处理   总被引：3，自引：0，他引：3  

熊回香 《中国图书馆学报》2005,31(5)

歧义处理是汉语自动分词的核心问题,汉语自动分词是中文信息检索的基础性课题。目前有基于词典的分词方法、基于统计的分词方法、基于语义的分词方法和基于人工智能的分词方法。自动分词的歧义处理,目前主要有:利用“长词优先”排歧,利用特征词消歧,利用“互信息”和“t-信息差”消歧,利用专家系统分词消歧。参考文献15。  相似文献   

自动标引中的歧义词消除方法研究     

王丹  杨晓蓉 《图书情报工作》2014,58(5):93-97

针对中文自动标引过程中经常会产生诸多歧义词,导致检出的信息不切题或漏检这一问题,在论述自动标引中歧义词消除方法的相关研究基础上,提出一种将穷举法和消歧规则相结合的歧义词消除方法。测试结果表明,这是一种行之有效的消除歧义词的方法。  相似文献   

基于语义搭配的汉语短语界定研究     

李向阳  张亚非 《情报学报》2005,24(1):100-106

简单分析了语法上界定汉语短语的困扰,提出一种利用语义搭配关系界定汉语短语的方法。首先,借助同义词词林实现语义知识的编码,用这种语义编码来表示语义搭配关系;其次,在此基础上,定义短语与已知语义搭配关系的相似性,计算词语搭配的合理性;最后,利用短语内部的语义搭配合理性优于其他搭配这一性质,用算法实现了基于语义的汉语短语界定过程。该方法应用于军事文本,从中界定出描述作战单位等信息的短语,取得较好的效果。此外,经该方法界定出的短语具有较强的语义信息,对信息抽取等实际应用具有一定的适用性。  相似文献   

基于词典和统计的语料库词汇级对齐算法   总被引：5，自引：0，他引：5  

刘小虎  吴葳  李生  赵铁军  蔡萌  鞠英杰 《情报学报》1997,(1)

语料库词汇一级的对齐，对于充分发挥语料库的作用意义重大。本文对汉英句子一级对齐的语料库，提出了借助于词典和语料库统计信息的有效的对齐算法。首先利用词典的词的译文及其同义词在目标语中寻找对齐；其次利用汉语词汇与英语单词的共现统计信息以最大的互信息寻找对齐词汇以及相邻短语。实践证明该方法是行之有效的  相似文献   

汉语分词对中文搜索引擎检索性能的影响   总被引：3，自引：0，他引：3  

金澎  刘毅  王树梅 《情报学报》2006,25(1):21-24

针对中文网页的特点,研究了汉语分词对中文搜索引擎检索性能的影响。首先介绍中文分词在搜索引擎中的作用,然后介绍常用的分词算法。作者利用网页特征,提出一个简单的“带启发性规则的双向匹配分词策略”。最后,在10G的语料库中,就各种分词算法对查全率和查准率的影响进行了实验比较,结果表明分词性能和检索性能没有正比关系。  相似文献   

基于词频、词量、累积词频占比的共词分析词集范围选取方法研究     

刘敏娟  张学福  颜蕴 《图书情报工作》2016,60(23):135-142

[目的/意义]提出一种基于词频、词量、累积词频占比三者变化关系的共词分析词集范围的确定方法,尝试对现有词集范围选取方法中仅凭经验判断和过度依赖词频为“1”的关键词的问题进行改进,为相关研究提供一种更加规范、科学、值得借鉴的做法。[方法/过程]该方法充分考虑词集实际分布规律和特点,将词或词组分类成高、中、低频,并选择高、中频词共同作为共词分析的对象。[结果/结论]通过在具体领域的实例验证以及与其他方法的对比,证明该方法可以有效地选择合适的词集范围,对今后相关研究具有一定借鉴意义。  相似文献   

Applying Machine Learning to Text Segmentation for Information Retrieval   总被引：2，自引：0，他引：2  

Xiangji Huang  Fuchun Peng  Dale Schuurmans  Nick Cercone  Stephen E. Robertson 《Information Retrieval》2003,6(3-4):333-362

We propose a self-supervised word segmentation technique for text segmentation in Chinese information retrieval. This method combines the advantages of traditional dictionary based, character based and mutual information based approaches, while overcoming many of their shortcomings. Experiments on TREC data show this method is promising. Our method is completely language independent and unsupervised, which provides a promising avenue for constructing accurate multi-lingual or cross-lingual information retrieval systems that are flexible and adaptive. We find that although the segmentation accuracy of self-supervised segmentation is not as high as some other segmentation methods, it is enough to give good retrieval performance. It is commonly believed that word segmentation accuracy is monotonically related to retrieval performance in Chinese information retrieval. However, for Chinese, we find that the relationship between segmentation and retrieval performance is in fact nonmonotonic; that is, at around 70% word segmentation accuracy an over-segmentation phenomenon begins to occur which leads to a reduction in information retrieval performance. We demonstrate this effect by presenting an empirical investigation of information retrieval on Chinese TREC data, using a wide variety of word segmentation algorithms with word segmentation accuracies ranging from 44% to 95%, including 70% word segmentation accuracy from our self-supervised word-segmentation approach. It appears that the main reason for the drop in retrieval performance is that correct compounds and collocations are preserved by accurate segmenters, while they are broken up by less accurate (but reasonable) segmenters, to a surprising advantage. This suggests that words themselves might be too broad a notion to conveniently capture the general semantic meaning of Chinese text. Our research suggests machine learning techniques can play an important role in building adaptable information retrieval systems and different evaluation standards for word segmentation should be given to different applications.  相似文献   

基于二元中文分词的高效检索算法研究     

宗乾进  游静 《图书情报工作》2009,53(22):68-55

针对传统的like通配符检索存在的问题,提出基于二元中文分词的高效率检索算法的思路、流程,给出核心算法代码;在消除重复词语、查全率、查准率、多字词检索等方面,与传统检索进行比较,各方面评测结果都优于传统检索;基于二元中文分词的高效率检索算法,简单、高效、容易实现,以期在信息系统的检索模块中得以利用,提高信息检索效率,减小信息搜索成本。  相似文献   

英语语料库在英文摘要编辑工作中的应用   总被引：3，自引：0，他引：3  

张晓丽 《编辑学报》2004,16(6):421-422

利用语料库提高英文摘要质量是一项新的尝试.回顾语料库的发展史;介绍对编辑工作有较大实用价值的2个语料库:英国国家语料库(BNC)和Cobuild语料库;探讨语料库在编辑工作中的具体应用,如在语言形式辨析、同义词区分、词语搭配、词序确定等方面都可以借助语料库来实现.  相似文献