自动文本分类的可视化方法探讨     

陈旭毅 《情报科学》2007,25(10):1530-1533

自动文本分类方法是文本分类中非常重要的一种分类方法，本文着重从模型与方法的角度进行探讨。首先给出了一个自动文本分类的形式化定义，然后提出了自动文本分类的流程模型。接着，对流程中的四个部分进行具体讨论。自动文本分类的应用非常广泛，为了叙述方便，以商务数据为例进行讨论，并且选择实例作为典型案例对自动文本分类后的可视化进行分析和具体研究。  相似文献   

基于SVM的多类文本分类研究   总被引：9，自引：0，他引：9  

张爱丽  刘广利  刘长宇 《情报杂志》2004,23(9):6-7,10

基于统计学习理论．构建了SVM文本分类模型，并给出了模型参数的100自动选择算法，解决了以往参数靠经验确定的弊端。传统的文本分类系统不能处理一篇文档同属多类别的情形，论文将该情形归结为多类文本分类问题，提出二叉决策树SVM模型，并就农业机械化工程文档进行了实证分析。结果表明，该算法具有较好的分类效果。  相似文献   

文本分类技术及其在网络信息服务中的应用     

陈辉 《中国科技信息》2004,27(19):32-33

在对互联网上海量文本信息进行管理的过程中，文本自动分类是一项关键且基础的技术。本文主要介绍了文本分类的概念、实施过程．相关技术以及文本分类在网络信息服务中的几个典型用途。  相似文献   

自动文本分类技术研究   总被引：1，自引：0，他引：1  

奉国和 《情报杂志》2007,26(12):108-111

文本分类是数据挖掘的重要内容之一，在很多领域经常需要对文本信息进行处理、抽取、分类。通过分析了文本分类过程中涉及的文本表示、特征抽取、分类等方法，指出文本分类的基本特点。  相似文献   

基于词频的中文文本分类研究   总被引：1，自引：0，他引：1  

姚兴山 《现代情报》2009,29(2):179-181

本文对中文文本分类系统的设计和实现进行了阐述,对分类系统的系统结构、特征提取、训练算法、分类算法等进行了详细的介绍。将基于词频统计的方法应用于文本分类。并提出了一种基于汉语中单字词及二字词统计特性的中文文本分类方法,在无词表的情况下,通过统计构造单字和二字词表,对文本进行分类,并取得不错的效果。  相似文献   

关于数学中分类讨论问题的研究及其教学     

王金河 《内蒙古科技与经济》1999,(Z2)

中学数学中分类讨论问题是数学教学中的难点 ,本文阐述了引起分类讨论的原因 ,分类讨论的一般步骤及注意事项 ,以及如何进行分类讨论教学。  相似文献   

中文文本分类中的文本表示因素比较     

张爱华  荆继武  向继 《中国科学院研究生院学报》2009,26(3):400-407

研究了中文文本分类中的文本表示方法,提出了对中文文本表示因素的分析框架,并通过对3个数据集实验结果的分析,确定了各种文本表示因素对分类效果的影响.直接使用汉字进行划分也可以获得较好的分类效果;简单的不使用很大词库的分词和使用大词库的分词,以及复杂的分词对分类效果影响不大;仅使用01表示特征是否出现也可以获得比较好的分类效果;采用综合了合理的向量取值(如使用合适的归一化算法)可以较大幅度地提高分类准确率等.这些结论为后续的应用提供了指导原则.  相似文献   

5G环境下高校图书馆自媒体平台多标签文本分类方法研究          下载免费PDF全文

程雅倩  黄玮  金晓祥  贾佳 《情报科学》2022,39(2):155-161

【目的/意义】由于自媒体平台中的多标签文本具有高维性和不平衡性,导致文本分类效果较差,因此通过 研究5G环境下高校图书馆自媒体平台多标签文本分类方法对解决该问题具有重要意义。【方法/过程】本文首先通 过对采集的5G环境下高校图书馆自媒体平台多标签文本进行预处理,包括无意义数据去除、文本分词以及去停用 词等;然后采用改进主成分分析方法进行多标签文本降维处理,利用向量空间模型实现文本平衡化处理;最后以处 理后的文本为基础,采用Adaboost和SVM两种算法构建文本分类器,实现多标签文本分类。【结果/结论】实验结果 表明,本文拟定的自媒体平台标签文本分类方法可以使汉明损失降低,F1值提高,多标签文本分类效果好,且耗时 较低,具有可靠性。【创新/局限】由于本研究中的数据集数量不够多,所以在测试和验证方面,得出的结果具有一定 局限性。因此在未来研究中期望利用更为丰富的数据库,对所设计的方法做出进一步的改进与创新。  相似文献   

基于SVM与KNN的中文文本分类比较实证研究   总被引：1，自引：0，他引：1  

刘怀亮  张治国  马志辉  孙蕾 《情报理论与实践》2008,31(6)

本文详细介绍了中文文本分类过程以及SVM和KNN两种方法在中文文本分类中的具体步骤,给出了中文文本分类的模型。通过实验对SVM算法和传统的KNN算法应用于文本分类效果进行了比较性实证研究。研究表明,SVM分类器较KNN在处理中文文本分类问题上有更良好的分类效果,有较高的查全率和查准率。  相似文献   

知识网格环境下文本分类模式构建     

范少萍  郑春厚  王娟 《情报科学》2012,(2):196-199,205

利用网格技术与语义网技术,结合知识网格和文本资源的特点,在知识网格环境下研究了文本分类问题。首先分析了知识网格环境下文本资源要进行合理有效的分类需要解决的关键问题,并以此为基础,构建了知识网格环境下的文本分类模式。该模式主要包括:语义互联模块、元样本集成模块、文本动态更新模块、文本分类模块。此模式可以对后续在知识网格环境下研究文本分类能有所指导与借鉴。  相似文献   

A hybrid generative/discriminative approach to text classification with additional information     

Akinori Fujino  Naonori Ueda  Kazumi Saito 《Information processing & management》2007

This paper presents a classifier for text data samples consisting of main text and additional components, such as Web pages and technical papers. We focus on multiclass and single-labeled text classification problems and design the classifier based on a hybrid composed of probabilistic generative and discriminative approaches. Our formulation considers individual component generative models and constructs the classifier by combining these trained models based on the maximum entropy principle. We use naive Bayes models as the component generative models for the main text and additional components such as titles, links, and authors, so that we can apply our formulation to document and Web page classification problems. Our experimental results for four test collections confirmed that our hybrid approach effectively combined main text and additional components and thus improved classification performance.  相似文献   

一种改进的SVM文本数据分类技术研究     

高晓琴 《科技通报》2012,28(4):70-71

主要研究了文本分类精度问题。介绍了文本分类的基本过程,提出了一种改进的支持向量机文本分类技术,设计并实现了一个开放的中文文档自动分类系统。实验结果表明,提出的方法不仅具有较高的训练效率,同时也能得到很高的分类准确率和查全率。  相似文献   

Semantic text classification: A survey of past and recent advances     

Berna Altınel  Murat Can Ganiz 《Information processing & management》2018,54(6):1129-1153

Automatic text classification is the task of organizing documents into pre-determined classes, generally using machine learning algorithms. Generally speaking, it is one of the most important methods to organize and make use of the gigantic amounts of information that exist in unstructured textual format. Text classification is a widely studied research area of language processing and text mining. In traditional text classification, a document is represented as a bag of words where the words in other words terms are cut from their finer context i.e. their location in a sentence or in a document. Only the broader context of document is used with some type of term frequency information in the vector space. Consequently, semantics of words that can be inferred from the finer context of its location in a sentence and its relations with neighboring words are usually ignored. However, meaning of words, semantic connections between words, documents and even classes are obviously important since methods that capture semantics generally reach better classification performances. Several surveys have been published to analyze diverse approaches for the traditional text classification methods. Most of these surveys cover application of different semantic term relatedness methods in text classification up to a certain degree. However, they do not specifically target semantic text classification algorithms and their advantages over the traditional text classification. In order to fill this gap, we undertake a comprehensive discussion of semantic text classification vs. traditional text classification. This survey explores the past and recent advancements in semantic text classification and attempts to organize existing approaches under five fundamental categories; domain knowledge-based approaches, corpus-based approaches, deep learning based approaches, word/character sequence enhanced approaches and linguistic enriched approaches. Furthermore, this survey highlights the advantages of semantic text classification algorithms over the traditional text classification algorithms.  相似文献   

文本分类技术应用于学科导航分类的可行性探讨     

张春红 《情报科学》2009,27(7)

在介绍文本分类技术的基础上,结合学科导航特点,探讨了将文本分类技术应用于学科导航的必要条件,分析了应用文本分类技术后给学科导航带来的影响,通过实证显示了文本分类技术应用于学科导航分类所产生的优势.  相似文献   

自动文本分类方法研究述评   总被引：1，自引：0，他引：1  

蒲筱哥 《情报科学》2008,26(3):469-475

在总结已经研究出的经典文本分类方法的基础上,对当前涌现出的一些新的文本分类方法进行了归纳,得出了当前研究的不足之处和未来发展趋势。  相似文献   

一种基于语义的中文文本分类算法     

赵辉  刘怀亮  范云杰  左晓飞 《情报理论与实践》2012,35(3):115-118

针对向量空间模型中语义缺失问题,将语义词典（知网）应用到文本分类的过程中以提高文本分类的准确度。对于中文文本中的一词多义现象,提出改进的词汇语义相似度计算方法,通过词义排歧选取义项进行词语的相似度计算,将相似度大于阈值的词语进行聚类,对文本特征向量进行降维,给出基于语义的文本分类算法,并对该算法进行实验分析。结果表明,该算法可有效提高中文文本分类效果。  相似文献   

一种基于词上下文向量的文本自动分类方法   总被引：1，自引：0，他引：1  

郭少友 《情报科学》2008,26(7)

分析了传统文本自动分类方法的不足、词上下文向量的含义及其在自动分类中的作用,提出了一种基于词上下文向量的文本自动分类方法,该方法利用词上下文向量来生成分类器的类别中心向量和待分类文本的文本向量,使分类质量有所提高。  相似文献