中文文档复制检测方法研究   总被引：1，自引：0，他引：1  

耿崇  薛德军 《现代图书情报技术》2007,2(6):33-37

介绍不同的文档复制检测方法，对不同方法的技术特点进行对比，通过实验系统论证不同方法的优缺点，并在CNKI海量资源的基础上实现中文文档复制检测系统。最后针对目前文档复制检测存在的问题进行分析并确定后续工作内容。  相似文献   

中文文本关键词自动抽取方法研究   总被引：6，自引：1，他引：5  

张雪英  Jürgen Krause 《情报学报》2008,27(4)

随着信息技术的发展,中文电子文本信息资源正以惊人的速度急剧增长.文本自动处理技术,通过自动组织海量文献信息资源,能够为用户提供简易有效的信息检索服务.关键词自动抽取是文本自动处理的基础和核心.汉语的特殊性加剧了中文文本关键词自动抽取的难度.本文提出了一种基于N-gram权重计算和关键词筛选算法的中文文本关键词自动抽取方法.该方法不依赖特定的数据集和中文分词技术,可以有效地抽取出任意单篇文本的关键词,而且通过参数调整,应用系统可以灵活地控制标引深度和标引专指度.实验表明,该方法简单、快速、断词错误率低,标引性能明显优于基于中文分词和TF/IDF的方法,可以满足大规模文本的在线处理要求.  相似文献   

利用虚拟打印机生成学术不端检测报告PDF文件     

谢文亮 《编辑学报》2014,26(5):464-466

在讨论对期刊的学术不端检测报告作信息化存档重要性的基础上,针对中国知网学术不端检测系统生成的文本复制检测报告单无法直接生成PDF文件的问题,提出利用虚拟打印机生成学术不端检测报告PDF文件的方法,并给出了详细、可行的实现步骤。  相似文献   

汉语分词技术综述   总被引：2，自引：1，他引：1  

熊回香  夏立新 《图书情报工作》2008,52(4):81-81

首先介绍了汉语自动分词技术及基于词索引的中文全文检索技术,接着分别从文献自动标引、文摘自动生成、文本自动分类、文本信息过滤、自然语言检索接口和智能检索等方面详细地阐述了汉语自动分词技术在中文全文检索中的应用,并对目前汉语自动分词技术存在的局限性进行了分析,提出了发展思路,最后对汉语自动分词技术在中文全文检索中的应用前景进行了预测。  相似文献   

中文文本解构与知识发现研究   总被引：2，自引：0，他引：2  

文庭孝  刘晓英 《图书与情报》2009,(3)

中文文本是一个结构化的、综合性的信息和知识集合体,对中文文本的结构和特征进行分析,并对文本结构中所包含的各类要素进行分析,或重新排列和组织,以便发现文本中蕴含的知识和信息,是文本知识发现的重要途径之一.文章通过对中文文本的基本结构、主要特征、知识来源、知识组织等的探讨,以期达到文本知识发现的目的.  相似文献   

自动内容抽取中的中文事件标注     

张先飞  郭志刚  李弼程  孙显著 《情报学报》2011,30(1)

事件检测与描述(Event Detection and Characterization,EDC)自2005年作为自动内容抽取(Automatic ContentExtraction,ACE)评测的一个重要子任务出现以来,中文事件的标注、检测与描述越来越成为研究热点。本文就自动内容抽取中的中文事件标注进行详细、系统地研究,主要包括:在ACE会议定义中文事件相关概念的基础上,给出事件标注中事件的可标注内容,包括事件范围及事件触发词等;根据生活中的事件分类在人工事件标注中对EDC的事件进行类别划分及其子类的详细区分,以降低事件检测的复杂度;对每个事件类别(包括子类别)中构成事件的元素进行研究,综合事件类别及其元素信息完成中文事件的标注。本文的研究成果在中文文本信息抽取、自动摘要及主题检测与追踪中得到了很好的应用。  相似文献   

基于深度神经网络的中文新闻文本分类方法     

郑创伟  王泳  邢谷涛  谢志成  陈义飞 《中国传媒科技》2023,(3):147-151

【目的】文章比较多个基于深度神经网络的中文新闻文本分类模型，旨在找到准确度较高的方法用以实际工作，为中文新闻文本分类提供更加高效的方法。【方法】对文本分类技术和中文新闻分类进行了梳理和归纳，对中文新闻文本的特征和预处理进行了阐述，详细介绍FastText算法、Bert分类算法、TextCNN算法和TextRNN算法。【结果】四种深度神经网络算法均可以应用于中文新闻文本分类，可以有效处理信息紊乱问题以及快速准确进行分类。【结论】通过对四种深度神经网络算法进行试验和效果对比，发现FastText模型在实际工作中的文本分类效果最为优异。  相似文献   

ChpoBERT:面向中文政策文本的预训练模型     

沈思  陈猛  冯暑阳  许乾坤  刘江峰  王飞  王东波 《情报学报》2023,(12):1487-1497

随着深度学习的迅速发展和领域数据的快速积累,领域化的预训练模型在知识组织和挖掘中发挥了越来越重要的支撑作用。面向海量的中文政策文本,结合相应的预训练策略构建中文政策文本预训练模型,不仅有助于提升中文政策文本智能化处理的水平,而且为政策文本数据驱动下的精细化和多维度分析与探究奠定了坚实的基础。面向国家级、省级和市级平台上的政策文本,通过自动抓取和人工辅助相结合的方式,在去除非政策文本的基础上,确定了131390份政策文本,总字数为305648206。面向所构建的中文政策文本语料库,基于BERT-base-Chinese和Chinese-RoBERTa-wwm-ext,本研究利用MLM (masked language model)和WWM (whole word masking)任务构建了中文政策文本预训练模型（ChpoBERT）,并在Github上对该模型进行了开源。在困惑度评价指标和政策文本自动分词、词性自动标注、命名实体识别下游任务上,ChpoBERT系列模型均表现出了较优的性能,可为政策文本的智能知识挖掘提供领域化的基础计算资源支撑。  相似文献   

一种基于自组织神经网络的中文文本聚类新方法   总被引：8，自引：0，他引：8  

徐建锁  王正欧  王莉 《情报学报》2003,22(6):676-680

针对传统K—均值等算法在文本聚类中的缺陷 ,本文提出了一种树形动态自组织映射 (TGSOM)神经网络来实现中文文本聚类 ,克服了传统的K—均值等算法中文本种类需要预先给定的缺点。本文详尽描述了该网络模型的生成算法和算法中扩展因子的作用 ,并阐述了中文文本的数字化方法———TF .IDF .IG方法  相似文献   

中文叙词表本体共建共享系统研究   总被引：6，自引：0，他引：6  

曾新红  明仲  蒋颖  林伟明  胡振宁  张水英 《情报学报》2008,27(3)

本文阐述了中文叙词表本体(OntoThesaurus,即基于中文叙词表建立的本体知识库)共建共享系统的设计思想和总体结构.描述了中文叙词表转换为OWL本体的扩展TBox定义,叙词表文本的ABox实例自动转换,OntoThesaurus的一致性检测机制;OntoThesaurus在图书情报界及语义Web界的广泛共享应用前景;在共享应用中采集标引员、领域专家和一般检索者知识实现本体共建和动态完善的完整过程.最后对我国叙词表编纂机构快速实现现有中文叙词表(主题词表)的网络化共建和共享服务提出了建议.  相似文献