共查询到20条相似文献，搜索用时 250 毫秒
1.
2.
基于多因素方差分析的文本向量特征挖掘算法 总被引：2，自引：0，他引：2
文本向量特征挖掘应用于信息资源组织和管理领域,在大数据挖掘领域具有较大应用价值,传统算法精度不好。提出一种基于多因素方差分析的文本向量特征挖掘算法。使用多因素方差分析方法得到多种语料库的特征挖掘规律,结合蚁群算法,根据蚁群适应度概率正则训练迁移法则,得到种群进化最近时刻获得的数据集有效特征概率最大值,基于最优划分的K-means初始聚类中心选取算法,先对数据样本进行划分,然后根据样本分布特点来确定初始聚类中心,提高文本特征挖掘性能。仿真结果表明,该算法提高了文本向量特征的聚类效果,进而提高了特征挖掘性能,具有较高的数据特征召回率和检测率,时间耗时较少,在数据挖掘等领域应用价值较大。 相似文献
3.
关联规则数据结构分布重排的数据库索引算法 总被引：1，自引：0，他引：1
《科技通报》2015,(10)
数据库优化索引是实现文本数据信息智能存储和调用的关键技术,网络信息文本数据具有较大的关联规则特性,造成了数据结构类间干扰,影响数据库索引精度。传统方法采用虚拟数据分布重组数据库索引技术,文本数据库扩展查询中会出现聚类特征不一致。提出一种基于关联规则数据结构分布重排的数据库索引算法。先构建网络信息文本数据库相对关联状态系统模型与关联规则关系图,在此基础上进行数据库规则信息流的结构分布重排,挖掘关联特征,实现数据库索引算法改进。仿真结果表明,采用该算法进行文本数据库索引,提高了特征匹配效率,降低执行时间,展示了优越性能。 相似文献
4.
提出改进的并行化谱聚类算法。该算法对于距离矩阵与相似度矩阵进行了改进,并在其中加入了kd树技术以对大规模数据进行稀疏化处理;然后在进行数据特征计算时,将数据以拉普拉斯矩阵的方式存入Hadoop之中,通过运行Lanczos分布计算的形式得到了其向量特征;最后运用在聚类算法中的较为高效的k-means聚类算法对向量特征的转置矩阵进行处理从而得到了需要的聚类结果。仿真实验结果表明,本文所提出的谱聚类并行算法能够为大规模的数据挖掘工作带来性能的巨大提升。 相似文献
5.
以分布式数据库文本数据为研究对象,提出基于分类特征的改进共享最近邻方法对数据实现去重备份处理。根据文本数据内容先划分到预设定类别中,利用特征词条到实数的映射即特征选择函数进行特征选择,按照一定准则从初始特征中选取具有强分类能力的特征,通过计算某训练集中各个词条特征选择函数参数值,获取参数值低于阈值的词条。利用哈希思想将文本空间相邻2个数据点实现指纹空间变换,转换空间后保持数据点相近,通过共享最近邻方法对相近指纹文本数据聚类,对聚类后数据进行迭代增删处理。实验证明,运用文中方法可对文本数据实现快速去重备份,有效解决数据占用空间问题。 相似文献
6.
7.
针对FCM算法主要应用于点数据聚类,不能直接处理关系型数据的缺点。本文提出了一种基于Web日志的数据挖掘聚类算法,首先对FCM算法进行改进使其能够处理关系型数据,并对算法进行了健壮性改进。然后针对传统FCM算法需要在没有先验知识的基础上,事先确定聚类类别数的缺点,引入了竞争凝聚算法(CA),与FCM算法相结合,形成了CA-FCM算法,使之能够自动确定最佳分类类别数。实验表明,CA-FCM算法的挖掘结果与FCM算法的结果相近,在用户访问会话数量不太大时性能优于FCM算法。 相似文献
8.
9.
文本聚类算法的质量评价 总被引：4，自引：0，他引：4
文本聚类是建立大规模文本集合的分类体系实例的有效手段之一。本文讨论了利用标准的分类测试集合进行聚类质量的量化评价的手段，选择了k-Means聚类算法、STC（后缀树聚类）算法和基于Ant的聚类算法进行了实验对比。对实验结果的分析表明，STC聚类算法由于在处理文本时充分考虑了文本的短语特性，其聚类效果较好；基于Ant的聚类算法的结果受参数输入的影响较大；在Ant聚类算法中引入文本特性可以提高聚类结果的质量。 相似文献
10.
11.
【目的/意义】文献的向量表示方法对文献主题聚合、聚类和分类等研究具有重要意义。基于二元共现信息
的潜在语义向量空间模型（CLSVSM）挖掘了文本信息中词与词之间的潜在语义关系,与文本向量表示的基本模型-
向量空间模型（VSM）相比很大程度上提高了文本聚类的精度。【方法/过程】为使CLSVSM能更优的提取文献的潜
在语义信息,本文在二元CLSVSM基础上进一步引入了三元共现信息,以深度挖掘文献的潜在语义,通过研究三元
共现矩阵的表示,三元共现频次和相对共现强度的计算方法,最终建立了加权共现潜在语义向量空间模型（加权
CLSVSM)。最后我们分别利用中、英文献数据对二元CLSVSM和加权CLSVSM两类模型进行了实验比较。【结果/
结论】结果显示：新模型对英文文献的聚类效果与二元CLSVSM相当,但对中文文献主题聚类效果明显要优于二元
CLSVSM。 相似文献
12.
《科技通报》2015,(8)
通过对文本数据库的优化索引提高信息检索功能,传统的数据库索引方法采用单层文本特征聚类方法,聚类特征不一致时,存在非法聚类和非法结果输出的安全问题。提出一种基于虚拟数据加速分布重组的数据库索引技术,首先构建虚拟数据加速分布重组模型,改进数据库的分布模型,提高对文本数据的索引能力,把需要的文档集经过预处理后,构建文本数据库,算出各个候选扩展词的权重后,需要根据各个词与原查询词的相关度,构成数据库文本扩展词集合,采用相关规则挖掘的规则词作为扩展,得到了虚拟数据的加速分布系统状态函数,构建规则库,从中提取与原查询相关的扩展词,进而实现查询扩展,实现数据库索引算法改进。仿真结果表明,该算法进行文本数据库索引的收敛性好,检索精度和有效连接数较高,执行时间短,展示了其优越性。 相似文献
13.
文本挖掘是一个对具有丰富语义的文本进行分析从而理解其所包含的内容和意义的过程,已经成为数据挖掘中一个日益流行而重要的研究领域。给出了文本挖掘的定义和框架,对文本挖掘中预处理、文本摘要、文本分类、聚类、关联分析及可视化技术进行了详尽的分析,并归纳了最新的研究进展,指出了文本挖掘在信息检索中的作用。 相似文献
14.
15.
基于文本挖掘的分类与聚类技术 总被引：5，自引：0，他引：5
从基于文本挖掘理论和实践两方面,探讨了文本的分类与聚类的理论、技术及两者之间的区别,讨论了聚类与分类技术在文本挖掘过程中的重要作用,通过所列举的自动分类与聚类的应用实例,能给读者的实际工作以一定的借鉴。 相似文献
16.
恐怖人员在网络中发送恐怖信息时,根据恐怖信息来源的网络节点能够实现对恐怖人员的准确定位。恐怖人员发送恐怖信息与正常信息的属性不同,伪装性较强。利用传统的恐怖信息挖掘方法进行恐怖人员定位时,固有的恐怖信息被伪装,难以进行恐怖信息的准确挖掘,造成恐怖人员定位准确性降低。为此,提出一种基于聚类算法的网络中恐怖信息挖掘方法。在网络信息中筛选有价值的恐怖信息特征,从而为恐怖信息挖掘提供依据。利用聚类算法,对所有恐怖信息特征进行聚类处理,能够实现对网络中恐怖信息的挖掘,最终实现了对恐怖人员的定位。实验结果表明,利用该方法进行网络中恐怖信息挖掘,能够实现对恐怖人员的准确定位。 相似文献
17.
《科技通报》2016,(5)
在对云计算网络漏洞进行检测的过程中,涉及的数据量巨大,传统方法依据先验知识建立云计算网络漏洞库,通过和漏洞库的匹配实现漏洞检测,实现过程非常复杂,且建立的漏洞库也存在局限性,检测精度低,因此,提出一种基于风险数据挖掘追踪的云计算网络漏洞检测技术。将特征相关性看作是计算数据差异的依据对风险数据进行初聚类,将和风险数据有较大差异的正常数据剔除,完成初步的处理。引入模糊关联规则,依据风险数据属性关联规则,对经初聚类处理后的风险数据进行挖掘追踪,构成云计算网络漏洞数据库,通过隶属度分布函数对漏洞数据库的连续属性进行模糊处理,依据模糊关联规则挖掘构建云计算网络存在漏洞状态时的关联规则集,用相似度对云计算网络当前状态和存在漏洞状态的背离程度进行描述,实现云计算网络的漏洞检测。仿真实验结果表明,所提方法具有很高的检测精度和检测效率。 相似文献
18.
19.
Web网络中存在海量文本,需要进行合理高效的文本抽取,实现Web文本数据挖掘。由于Web文本数据的高维特性,文本抽取过程中自动分类配对困难。提出一种基于RBF神经网络隐节点共振致密配对的Web数据文本抽取算法,进行Web数据文本特征采样与关联主特征挖掘,在每次移动中形成RBF隐节点共振致密配对,得到最优文本特征选择的路径,建立RBF神经网络分类器,实现基于蚁群算法的特征抽取算法改进。实验结果表明,该算法能有效实现对隐节点的共振致密配对,特征挖掘跟踪性能较好,保障了挖掘性能,系统所提取的特征分量与其他模糊分量差距较小,文本正确抽取召回率高于传统方法,在Web网络数据文本抽取中具有优越可靠的应用价值。 相似文献
20.