共查询到20条相似文献，搜索用时 46 毫秒
1.
基于分类标注语料库的关键词标引知识自动获取 总被引：1，自引：0，他引：1
基于大规模层级分类语料库,抽取网页上专家已经标引的关键词形成关键词表;针对关键词的领域不均匀性和邻界域两个特征,提出并模拟计算了关键词表征文本主题特征程度的主题度。以关键词及其主题度为领域知识,结合统计方法,完成了一个知识与统计相结合的关键词自动标引系统。 相似文献
2.
互联网平台的蓬勃发展产生了以新兴媒体为承载的数字资源，如何从中有效实现知识检索、知识发现成为信息管理领域和互联网技术领域的一个重要课题。本文以《中国分类主题词表》为主题词受控表，首先从词的粒度层面对语料数据进行短文本信息挖掘，其次基于隐含狄利克雷分布（LDA）模型切分文本内容，最后依据词频统计实现主题词的提取、聚类，并通过共现矩阵构建短文本自动分类系统。该系统一方面有效地实现了知识的快速聚类和关联自动分类，另一方面为用户提供了满意度更高的知识发现服务及相关扩展服务。图8。表5。参考文献16。 相似文献
3.
关键词自动标引系统实现 总被引：1，自引：0，他引：1
刘华 《现代图书情报技术》2006,(2):88-90
基于已标注关键词的大规模分类语料库，依据领域专家知识，统计得到词语表征文本内容主题概念的主题度。以此为基础，完成了一个关键词自动标引系统，详细描述了系统实现的总体流程和功能模块。 相似文献
4.
在智慧政务的应用背景下,利用深度学习的方法对海量的科技政策文本数据进行自动分类,可以降低人工处理的成本,提高政策匹配的效率。利用BERT深度学习模型对科技政策进行自动分类实验,通过TextRank算法和TF-IDF算法提取政策文本关键词,将关键词与政策标题融合后输入BERT模型中以优化实验,并对比不同深度学习模型的分类效果来验证该方法的有效性。结果表明,通过BERT模型,融合标题和TF-IDF政策关键词的分类效果最佳,其准确率可达94.41%,证明利用BERT模型在标题的基础上加入政策关键词能够提高政策文本自动分类的准确率,实现对科技政策文本的有效分类。 相似文献
5.
文本分类是网络主题舆情分析中的关键技术,传统Web文本分类将文本关键词的相似度作为分类依据,丢失许多重要的语义信息,导致分类结果不够准确且计算量大.本文提出一种基于语义相似度的Web文本分类方法,利用特定的领域本体将用关键词表示的文本特征向量表示为与之匹配的语义概念特征向量,给出Web文本相似度的计算公式并实现基于语义相似度的KNN算法.结果表明,该方法从语义概念层次上表示和处理Web文本,降低了文本特征空间维度,减少计算量并提高了分类精确度. 相似文献
6.
Web自动文本分类技术研究综述 总被引：1，自引：0，他引：1
Web自动文本分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.本文首先分析了国内外Web自动文本分类方法的研究现状,接着对新近出现的多分类器融合的方法、基于群的分类方法、基于RBF网络的文本分类模型、基于模糊-粗糙集的文本分类模型、潜在语义分类模型等新方法,以及K-近邻算法和支持向量机的新发展等进行了深入探讨;并对Web自动文本分类过程中的几个关键技术:文本预处理、文本表示、特征降维、训练方法和分类算法等进行了分析;最后总结了当前Web自动文本分类技术存在的问题及其发展趋势. 相似文献
7.
海量数据集上基于特征组合的关键词自动抽取 总被引：7，自引：0，他引：7
关键词自动抽取的任务就是使用计算机自动地从文本中抽取能够高度有效表达文本主题的词汇.小规模训练集和测试集下的关键词自动抽取已经有诸多算法实现,但是大规模分布复杂的数据集上的关键词自动抽取却很少有学者提及.本文利用现有的信息检索技术,对海量数据集上自动抽取关键词问题进行了研究,给出了一个基于特征组合的关键词自动抽取方法.该方法构造了一个大规模的关键词词典;基于TF× IDF值和其他特征,提出了更有效的关键词权重计算方法;根据关键词本身的特点,对候选关键词进行了后处理,使得抽取的关键词更符合读者的要求.本文的后续实验表明,该方法同基于Bayes和KNN等的机器学习方法相比,性能相当.使用自动评价和人工评价两种方法对抽取的关键词进行了评估.专业编辑对抽取结果的人工评价显示,约95%的自动抽取的关键词可以被专业编辑或者读者接受. 相似文献
8.
适用于隐含主题抽取的K最近邻关键词自动抽取 总被引：1，自引：0，他引：1
众所周知,K最近邻方法作为机器学习领域的一个经典的方法,在很多领域都有出色的表现.本文利用K最近邻方法的思想,提出了一种基于K最近邻的关键词自动抽取方法.现有的关键词抽取技术仅仅是对正文词汇的抽取,不能抽取隐含主题.隐含主题的抽取是关键词自动抽取技术的难点,但是该方法可以有效抽取隐含主题.该方法首先对数据进行预处理,使用向量空间模型将文本表述为数学化语言;然后,以人工标注关键词的文献数据作为训练集,使用K最近邻方法构建新文献的关键词候选集;最后,根据关键词本身的特点对候选关键词做了有效的后处理.实验表明,该方法不仅可以提高关键词抽取的准确率和召回率,还可以有效抽取文章的隐含主题. 相似文献
9.
现有的主题标引方法一般只能抽取文本中出现的词汇,无法从几万或数十万主题词中选择语义关联强且未出现的词汇;基于机器学习的多标签分类算法则需要每一个标签下有训练数据,限制了它们在主题标引上的应用。面向大规模主题词在海量文献上的标引需求,提出一个基于分布式词向量的混合型自动标引方法,利用大规模语料训练的词向量生成同维度的主题词表示向量和文本表示向量,实现主题词与文本语义相似度的计算。基于大规模语料构建主题词与普通词的映射表,使文本向量只和少量的语义强相关主题词向量比较,大大减少了计算量,提高了标引效率。开发的自动标引工具对近亿篇文献进行了主题标引,达到了较高的速度。与结巴关键词的实验对比结果显示,本文方法抽取的主题词与作者关键词重合度较低,且在去除结巴关键词中的非主题词后,取得了比结巴关键词更高的标引准确率;与人工标引的实验对比结果显示,随着人工标引词数量的增加,本文方法的效果、结果与人工标引结果的一致性在不断增加。 相似文献
10.
传统的Web文本分类方法将文本中关键词的相似度作为分类的依据,丢失了很多重要的语义信息,导致分类结果不够准确且计算量大。基于此,文章提出了一种基于语义相似度的Web文本分类方法,利用领域本体将用关键词表示的文本特征向量表示为与之匹配的语义概念特征向量集,定义Web文本相似度的计算公式,设计并实现基于语义相似度的KNN算法。实验结果表明,该方法从语义概念层次上表示和处理Web文本,降低了文本特征空间维度,减少了计算量,提高了分类精确度。 相似文献
11.
互联网的蓬勃发展使得文本数据呈指数型增长态势,如何实现文本内容的高效分类成为信息资源管理工作面临的紧要问题。本文以维普学术期刊资源与百度新闻网页作为基础语料集,基于LDA模型抽取文档主题、切分文本内容,融合集成学习Catboost算法获得文档在主题上的概率分布,然后利用训练集提取出的隐含主题-文本矩阵进行分类器训练,最终构建文本分类系统。研究结果显示,该系统能够有效完成文本混合自动分类,分类误差率较低,分类性能明显优于传统的文本分类方法。 相似文献
12.
卢小宾鲁国轩杨冠灿祁天娇 《中国档案》2023,(3):71-71
文章针对大规模政府开放公文的主题分类标注问题,提出一种基于多分类模型的政府开放公文主题分类自动标注方法。第一,公文主题分类标注的需求。针对主题分类标注不一致问题。开放公文所涉领域广泛,可以采用预训练模型(如BE RT)对公文提取词向量,从而保证文本分类的一致性。针对主题分类标注深度问题。自动主题分类方法需要针对公文全文,但考虑不同公文的全文长度存在极大差异,需要能够在全文本中抓住中心句以及中心词,并经过提炼后对其进行归类。 相似文献
13.
利用关键词抽取技术可以帮助读者提取高度凝练的文本主题,快速获得古籍文本的中心内容,对普及古汉语知识和传播中华优秀传统文化有着重要意义。文章以先秦两汉时期的“儒家”“史书”数据库语料为分析对象,测试SikuBERT预训练模型在古汉语文本关键词抽取任务中的性能。实验结果表明,从两类语料中分别抽取的20个关键词基本能体现出相应典籍类别的主题内容:前者与所抽儒家典籍文本的相似度为76%~78%,后者与所抽史书文本的相似度为75%~78%。实验验证了SikuBERT模型在古籍文本关键词抽取中的适用性,能为开展古汉语文本主题分类、聚类和知识深度开发提供参考。 相似文献
14.
以医学类、农学类学位论文为例,构建基于BERT模型的学位论文自动分类器,得到TSAS（双显性主题）、TWAS（题名隐性摘要显性主题）、TSAW（题名显性摘要隐性主题）3种分类类型,进而提出从夯实数据质量、规范写作方式、拓宽信息来源3个方面提高学位论文自动分类效果。 相似文献
15.
运用图示法自动提取中文专利文本的语义信息 总被引：1，自引：0，他引：1
[目的/意义]提出利用图结构的表示法自动挖掘中文专利文本的语义信息,以为基于文本内容的专利智能分析提供语义支持。[方法/过程] 设计两种运用图结构的模型:①基于关键词的文本图模型;②基于依存关系树的文本图模型。第一种图模型通过计算关键词之间的相似性关系来定义;第二种图模型则由句中所提取的语法关系来定义。在案例研究中,借助频繁子图挖掘算法,对所建图模型进行子图挖掘, 并构建以子图为特征的文本分类器,用来检测所建图模型的表达性和有效性。[结果/结论]将所建的基于图模型的文本分类器应用于4个不同技术领域的专利文本数据集,并与经典文本分类器的测试结果相比较而知:前者在使用明显较少的特征数的基础上,分类性能较后者提升2.1%-10.5%。由此而推断,使用图结构的表达法并结合图挖掘技术从专利文本中所提取的语义信息是有效的,有助于进一步的专利文本分析。 相似文献
16.
[目的/意义]古诗是我国古典文学的宝贵遗产,从语义关联的视角对领域信息资源中显性知识（人物、时间、地点等）、隐喻知识（物象、情感等）以及用于解释隐喻文化背景的文化图式进行语义组织,对于新时代下我国文脉的内涵式传承与认知服务具有重要意义。[方法/过程]提出基于知识本体的隐喻知识及其文化图式组织模型。从古诗的物象与情感概念切入,剖析物象与意象隐喻知识的概念内涵与作用机制;对古诗文本进行特征解析以归纳核心的元数据,以构建融合显性与隐喻概念的古诗知识本体;获取领域显性与隐喻知识构建古诗知识图谱进而开展图谱解析。采取语义推理逻辑从图谱三元组数据中发掘古诗隐喻文化图式;将文化图式的图谱数据作为古诗表示特征进行计算,从族性和特性的角度探索古诗分类编目和个性化推荐等知识服务应用。[结果/结论]所构建的古诗知识本体能够从语言层面和诗人心理层面对隐喻知识及其文化图式进行有效知识组织,真正实现从语言、语义、情感及隐喻等层面对古诗进行知识挖掘与数据关联,以提升读者对古诗文化的感知、理解与认知能力。 相似文献
17.
针对基于关键字的传统搜索方法的不足,提出一种基于本体的信息搜索模型。就Web文本特点,介绍一种领域本体的半自动构建方法,利用基于领域本体的主题概念抽取方法完成语义标注,并实现在国防产品信息搜索中的应用。 相似文献
18.
基于Web挖掘技术的用户兴趣本体学习研究 总被引：2，自引：1，他引：1
目前针对基于关键词的用户模型不能从语义上表达用户需求真正内涵,基于领域本体的用户模型多数忽略研究概念间非分类关系和语义应用环境较分散等缺陷。本文提出一种循环式的基于Web挖掘技术的用户兴趣本体学习模型,即综合应用统计分析、关联规则和聚类分析等技术进行电子商务领域用户兴趣概念及概念间分类与非分类关系学习,面对用户兴趣的迅速变化,还提出一种传递激活方法来实时更新本体或重新进行本体学习,以不断提高该本体的质量。经验证,基于该本体的用户模型在文本过滤等应用中能较上述两种用户模型满足用户个性化服务需求。 相似文献
19.
目前大多数自动标引方法不能有效利用文本中包含的多个特征。而支持向量机、条件随机场模型等统计机器学习模型能够有效利用文本包含的多种特征进行关键词提取。同时,由于各种自动标引模型性能各异,综合利用各种模型进行集成学习方式的自动标引,能够提高自动标引的质量。为了进一步提高自动标引的质量,本文试图整合统计机器学习模型与集成学习方法的优势,对文档进行基于多分类模型综合投票方式的自动标引。实验结果表明,基于集成学习方法的自动标引能提高标引结果的查准率和召回率。另外,集成学习标引模型中,基分类器加权的标引结果,优于基分类器未加权的标引结果。 相似文献
20.
基于集成学习的自动标引方法研究 总被引：1，自引：0，他引：1
目前大多数自动标引方法不能有效利用文本中包含的多个特征.而支持向量机、条件随机场模型等统计机器学习模型能够有效利用文本包含的多种特征进行关键词提取.同时,由于各种自动标引模型性能各异,综合利用各种模型进行集成学习方式的自动标引,能够提高自动标引的质量.为了进一步提高自动标引的质量,本文试图整合统计机器学习模型与集成学习方法的优势,对文档进行基于多分类模型综合投票方式的自动标引.实验结果表明基于集成学习方法的自动标引能提高标引结果的查准率和召回率.另外,集成学习标引模型中,基分类器加权的标引结果,优于基分类器未加权的标引结果. 相似文献