共查询到20条相似文献，搜索用时 15 毫秒
1.
基于Web超链接结构信息的网页分类技术研究 总被引：1，自引：0，他引：1
充分利用相邻网页（包括链人和链出）的相关信息,提出一种基于Web超链接结构信息的网页分类改进方法．其方法分为5步：（1）预处理训练集,提取文本信息和超链接结构信息;（2）抽取特征向量和训练一个Web页面的全文本分类器;（3）根据网页的各个人口的锚点文本和扩展锚点文本创建虚文档,用虚文档代替Web页面全文本训练一个虚文档分类器;（4）利用Naive Bayes方法协调两个分类器得到初步分类结果;（5）利用链出网页对初步分类结果进行修正,得到最终分类结果．根据改进方法实现了网页自动分类原型系统,并进行分类实验,实验表明该方法有效提高了分类性能． 相似文献
2.
将中医临床病历分为五大类问题,利用Transformers的双向编码器,在训练文本分类器之前,用未标注的临床语料库来微调ERNIE(Traditional Chinese Medicine-ERNIE)模型,精炼出一个针对中医知识领域的TCM-ERNIE模型,该语料库只使用临床记录文本中的汉字作为输入,无须再进行预处理或特征提取.最后采用基准数据集来评估TCM-ERNIE模型和传统文本分类器,取得了89.39%±0.35%的分类精度,Macro F1为88.64%±0.40%,Micro F1为89.39%±0.35%,还采用可视化的方法来显示注意力权重,进一步揭示临床病历文本中的指标性症状. 相似文献
3.
传统基于统计的命名实体识别方法存在需要大量人工标注的缺陷,导致识别准确率较低。为了提升识别效果,提出一种基于条件随机场的半监督学习方法（S-CRF）对命名实体进行识别。该方法将实体识别看作序列标注问题,对少量数据进行人工标注并构建实体集,通过K-means聚类算法选取有代表性的未标注数据文本进行自动标注,采用条件随机场对语料进行训练测试。选取中文应急预案文档进行实验,该方法在各个标签上的识别效果分别达到93.52%、93.04%、95.81%。实验结果表明,该方法优于传统规则方法,能有效提高应急预案命名实体的识别效果。 相似文献
4.
5.
由于文本表示直接影响文本分类的效果,该文提出了一种有监督局部保持索引的文本表示方法.该方法利用Jaccard系数确定同一类别中文本之间的相似性,找出样本对应在低维空间中的文本表示.采用K近邻分类器在Reuters-21578数据集上进行训练和测试.实验结果表明,有监督保局索引方法在文本表示上更有优势. 相似文献
6.
SVM算法只使用已归类的数据训练分类器,而EM算法用少量已归类数据,结合大量的未归类数据来训练分类器,在减少已归类数据的同时保证了分类器的精度。本文基于EM算法的思想,根据SVM文本分类模型,提出一种新的迭代SVM文本分类算法。实验结果表明,迭代SVM算法分类精度高于传统的SVM文本分类算法,具有较好的性能。 相似文献
7.
综合二维典型相关分析和相关反馈的图像检索方法,首先利用颜色直方图法对样本图像进行初步检索,接着手工标注用户满意的图像作为正样本,其余的作为负样本.利用正负样本的颜色分块特征训练图像分类器,通过训练好的分类器对图像进行进一步检索.实验证明,我们的方法在目标不太明确的情况下,通过相关反馈操作的检索性能会获得一定的提升. 相似文献
8.
文本分类问题中,卡方特征选择是一种效果较好的特征选择方法。计算单词的卡方值时,先计算单词针对每个类别的卡方值,再通过类别概率将卡方值调和平均,作为单词相对于整个训练集合的卡方值,这种全局方法忽视了单词和类别间的相关性。针对这一问题,提出基于类别的卡方特征选择方法。基于类别的方法针对每个类别遴选特征词,特征词数量根据事先设定的阈值、类别的文档数和整个训练集合文档数计算得到,不同类别的特征空间可能包含相同的特征词。采用KNN分类方法,将基于类别的方法与全局方法进行比较,实验结果表明,基于类别的方法能够提高分类器的总体性能。 相似文献
9.
为提高大数据集粗分类识别率,提出一种基于聚类分析的SVM-Kd-tree树型粗分类方法。首先根据数据集特征分布进行k-means两簇聚类,对聚类后的数据集进行类别分析,同时将属于两簇的同一类别样本划分出来;然后使用两簇中剩余样本训练SVM二分类器并作为树型结构根节点,将两簇数据分别合并,将划分出来的样本作为左右子孩子迭代构建子节点,直到满足终止条件后,叶子节点开始训练Kd-tree。实验结果表明,迭代构建树型粗分类方法使训练单一SVM平均时间减少了61.977 4%,比Kd-tree同近邻数量的准确率提高了0.03%。在进行大规模数据集粗分类时,使用聚类分析迭代构建组合分类器时间更短、准确率更高。 相似文献
10.
提出了一种基于机器学习的Web文本自动分类的架构,提出了中文Web文档自动分类的主要技术问题。介绍了中文Web文档自动分类工具的总体设计,它主要包括网络蜘蛛、中文分词、特征选取和贝叶斯分类器等功能模块。最后对中文Web文档自动分类器进行了实验。 相似文献
11.
为解决海量数据导致用户信息过载问题,通过分析人民网、新浪网等网站的新闻网页数据,将传统方法与深度学习方法相结合,提出基于特征融合、CNN和GRU的多文档摘要方法（M-C-G）。首先对30种不同主题的新闻网页进行数据清洗,使用word2vec工具训练词向量模型,根据多种特征计算得到初步摘要结果;然后把8.3万条搜狐新闻语料文本数据输入带有CNN和GRU的Seq2Seq模型上训练;最后把初步摘要结果输入模型进行测试,得到最终摘要结果。实验结果表明,在ROUGE评测体系中采用该方法比现有方法准确率至少提高约2%,可有效帮助用户寻找有价值的文本信息。 相似文献
12.
针对文本分类领域的有监督学习往往需要大量精准标注样本但大量人工标注困难的问题,提出一种新型的半监督学习方式,通过协同训练合理使用大量未标记训练样本,通过添加不同分类的文本特征噪声解决传统协同半监督学习方法中模型参数趋于统一的问题,同时提高分类模型的分类能力。针对传统深度学习方法中文本特征权重一致导致的分类特异性特征不突出问题,在训练模型中加入 self-attention 机制对文本句子特征权重进行提取,并通过句子加权方式突出特异性分类特征。实验结果表明,通过半监督学习方式同时使用少量已标注数据进行训练,模型能够达到 91.4%的准确率,召回率达到 84.3%,与有监督训练方式的分类准确能力相近,从而解决大量人工标注问题,具有一定的使用价值。 相似文献
13.
为了提高聚类结果和允许在结果中进行选择,将本体语义与文档聚类相结合,在文档处理过程中提出了基于WordNet的新的文档聚类算法.首先通过tf-idf对文档进行了表示,为了将WordNet的概念出现在文档集合中,通过新的实体对每一个单词向量进行扩展.其次,运用特征提取算法对文档进行特征提取.最后提出了本体集合聚类算法用以提高文本的聚类效果.实验构建在Reuters20新闻组的数据基础上,应用互信息作为试验结果的比较.结果表明:与已经存在的一些算法如MNB,CLU-TO,co-clustering等相比,基于本体的聚类算法在文本聚类上有很明显的提高. 相似文献
14.
《河南职业技术师范学院学报(职业教育版)》2018,(5)
针对传统的特征选择方法在非平衡数据集中分类效果不理想的问题,提出了一种适合非平衡数据分类的改进特征选择方法.该方法将集中度和分散度相结合,同时考虑到在文本长短不一时词频对文本分类的作用,得到一种新的词频归一化方法,实现了对传统特征提取方法的改进.另一方面,将三支决策思想引入到朴素贝叶斯算法,得到了NB-三支决策分类算法,并将该算法应用到非平衡数据集的分类.通过两组实验对比结果表明:改进特征选择方法较CHI和IG方法,处理非平衡度高的数据集分类效果较好;选取相同的特征选择方法和数据集,NB-三支分类器比NB-分类器的分类效果好.选用本文提出的改进特征选择方法和NB-三支分类器,在处理非平衡度高且文本长短不一的数据集时,分类效果有一定提升. 相似文献
15.
为充分利用大量未标注样本、节约人力与时间,提出了基于无监督学习的抽油机井示功图自动聚类与批量标注方法。首先,将抽油机驴头往复运动产生的位移、载荷数据转化为示功图图片样本,其中,示功图的横坐标为位移,纵坐标为载荷;其次,加载在ImageNet上训练过的带有一系列权重参数、具有强特征提取能力的卷积神经网络模型;然后,去除该网络模型的全连接层,利用该网络模型提取示功图图片样本的特征;最后,利用k-means聚类算法对提取到的特征进行聚类分析,将具有相似特征的示功图聚到同一文件夹中。批量的对示功图聚类结果进行快速标注,从而形成抽油机井故障诊断的示功图样本集。实验随机搜集了100口抽油机井的20 000条示功图数据,结果表明,基于无监督学习的抽油机井示功图自动聚类与批量标注方法耗时短、准确率高,为示功图样本集标注提供了一种高效方法,对于充分挖掘油田大数据的应用价值具有示范意义。 相似文献
16.
针对传统的文本聚类容易受到噪声影响的问题,提出一个基于词性标注的文本聚类算法。该算法利用词性标注从文本中识别并抽取最能体现文本特征的关键词,再基于所抽取的关键词进行聚类操作。实验发现,相对传统的聚类算法,基于词性标注的文本聚类算法能够有效地提高聚类结果的质量。 相似文献
17.
朴素贝叶斯理论是一种典型机器学习技术,能够应用于文本分类中。运用朴素贝叶斯理论阐述了贝叶斯分类器的样本训练和分类计算的过程,构造了一个文本分类器。试验表明,朴素贝叶斯理论在文本分类中有较好的分类效果。 相似文献
18.
《实验室研究与探索》2016,(8):121-126
提出一种新的深度模型,通过多个阶段的后向传播来联合训练多阶段分类器实现行人检测。该模型可将分类器的得分图输出存储在局部区域中,并将其作为上下文信息来支持下一阶段的决策。通过设计具体的训练策略,深度模型可对硬性样本进行挖掘来分阶段训练网络,进而模拟串联分类器。此外,每个分类器可在不同的难度水平上处理样本,并通过无监督预训练和专门安排的各阶段有监督训练来对优化问题正规化,提高了行人检测的可靠性。理论分析表明该训练策略有助于避免过拟合。基于3个数据集(Caltech,ETH和TUD-Brussels)的实验结果也验证了该方法优于当前其他最新算法。 相似文献
19.
不平衡数据在各个应用领域普遍存在。在处理不平衡数据时,破坏原始数据的分布特点和丢弃多数类样本的潜在信息都会降低分类精度,为此,提出一种不平衡数据集成分类方法。从多数类样本中依据计算得到的综合权重进行随机采样,并与少数类样本组成新的训练样本子集|为了保证基分类器的差异性,将投影得到的不同样本子集作为各个基分类器的训练样本,通过多分类器集成学习获得最终分类结果|在UCI数据集下进行实验。结果表明,该方法不仅能够提高少数类样本的分类性能,而且能够有效提高整体分类精度。 相似文献
20.
农业短文本中包含词数较少,导致语义获取不充分和分类效果下降。利用 Attention 机制加强关键词在分类时的权重,并结合 BiLSTM 设计 LSTM-Attention 模型。对 30 000 份原始数据经过中文分词、句法分析、文本向量化后,将 LSTM-Attention 模型训练成一个 LSTM-Attention 分类器,解决分类器对待分类文本数据敏感的问题。利用 30 000 份标准数据和加 30%干扰信息的复杂数据测试分类器分类效果,结果表明,LSTM-Attention 模型分类正确率达 98.59%,比传统 LSTM 模型高 3.72%,比 BiLSTM 模型高 1.61%,说明使用 BiLSTM 结 合 Attention 机制能够有效提升农业短文本分类效果。利用不同测试数据对 LSTM-Attention 分类器测试发现,LSTM-Attention 分类器具有良好收敛性,其分类效果不依赖于分类数据特征,分类效果稳定性佳。 相似文献