共查询到20条相似文献，搜索用时 31 毫秒
1.
邹永平 《河北能源职业技术学院学报》2013,(1):64-66,70
改进后的Fp-Growth挖掘算法适用于对大型数据库的数据关联规则的挖掘,基于一种新的数据库分隔方法来分隔数据库,并对分隔得到的各数据库子集用算法进行约束频繁项集挖掘。改进的数据库划分策略克服了占用内存大的缺陷,提高了挖掘速度,实时性更强。 相似文献
2.
针对传统基于ε-差分隐私模型的top-k关联规则挖掘算法在大规模数据环境下挖掘效率低下的问题,提出了一种并行差分隐私关联规则挖掘算法。算法利用Hadoop框架实现并行计算,利用负载均衡策略,使每一个节点分配到的数据量相当,利用指数机制挑选出k个频繁模式,采用拉普拉斯机制对这k个频繁模式添加噪音。通过实验对算法的频繁模式挖掘结果与同类算法进行比较分析,结果表明,该算法在保证挖掘结果具有可用性的前提下,在效率上较传统算法有所提升。 相似文献
3.
随着大数据时代的到来,针对Apriori算法和FP Growth算法在挖掘海量规模数据频繁项集时,存在内存不足、计算效率低等问题,提出一种Aggregating_FP算法。该算法结合MapReduce并行计算框架与FP Growth算法,实现频繁项集的并行挖掘,对每个项进行规约合并处理,仅输出包含该项的前K个频繁项集,提高了海量数据决策价值的有效性。在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验结果表明,该算法适合大规模数据的分析和处理,具有较好的可扩展性。 相似文献
4.
杨种学 《南京晓庄学院学报》2005,21(5):65-70
发现关联规则是数据挖掘技术的重要任务之一。之前提出的绝大多数算法需要多次遍历数据库才能产生频繁项集,造成巨大的CPU和内存开销。根据网上交易数据海量的特点,提出了一种基于频繁模式增长(FP-growth)的并行算法。该算法可以在不产生候选集的基础上并行的挖掘海量数据。试验证明该算法可以缓解了项目数量巨大而内存不足的矛盾,减少了算法的执行时间。利用该算法对网上交易进行关联规则挖掘,发现了有价值的决策支持信息。 相似文献
5.
6.
提出基于云计算平台（以Hadoop为例）应用布尔矩阵Apriori算法进行大数据关联规则挖掘的MR_B_Apriori算法。将Hadoop平台与布尔矩阵Apriori算法相结合,利用MapReduce框架分块处理布尔矩阵,计算出分块数据的频度,合并融合得到大数据集的频繁项集。分析表明MR_B_Apriori算法能够适用于大数据的频繁项集挖掘。 相似文献
7.
基于PrefixSpan思想的序列模式增量挖掘算法,对更新数据库的频繁模式分三类进行挖掘,利用了原频繁模式基的信息,对局部新增数据进行挖掘,只在候选集的处理中对更新数据库扫描一次。实验表明,该方法与直接用PrefixSpan算法对更新数据库挖掘相比,性能上有较大的提高。 相似文献
8.
9.
基于用户的协同过滤推荐算法是应用范围广且应用效果较好的推荐算法之一。传统单机模式下运行的基于用户的协同过滤推荐算法在面对海量数据时存在严重的性能瓶颈问题,很难满足实际计算需求,而基于MapReduce的并行计算框架为解决该问题提供了新思路。MapReduce是Hadoop开源框架的核心计算编程模型, MapReduce的设计目标是方便编程人员在不熟悉分布式并行编程的情况下,可将自己的程序运行在分布式系统上。根据基于用户的协同过滤推荐算法特点,提出MapReduce并行化实现方法。实验结果表明,在MapReduce并行计算框架下实现的基于用户的协同过滤推荐算法在算法性能及稳定性方面都取得了理想效果。 相似文献
10.
深入分析了频繁模式挖掘算法Eclat和Eclat+,在大数据集上挖掘长模式时,Edat+的性能不及Eclat. 相似文献
11.
饶颖 《深圳信息职业技术学院学报》2023,(6):35-42
传统的多线程处理模型,并不适合处理IO密集业务。如果当前线程因为IO请求、加锁等系统调用或者被更高优先级的任务打断而阻塞时,CPU需要进行线程的上下文切换,调度新的线程重新执行,单次线程切换的开销不大,时延是微秒级别,但是如果切换频繁,带来的开销就会比较大,这会直接降低CPU的利用率;此外, IO操作中难免要进行内存分配和数据拷贝的操作,操作系统自带的内存分配对于密集IO操作,会产生大量的内存碎片,降低程序和操作系统的性能。基于以上两个问题,设计一个高效的IO调度系统,采用基于协程的任务调度模式,解决传统多线程模型处理密集IO效率不高的问题;另外再基于内存池的内存管理,解决操作系统自带的内存管理性能不高的问题。利用以上两个关键技术,大大提高了IO密集业务的处理效率。 相似文献
12.
介绍了频繁模式挖掘的相关概念和基本定理,提出了基于事务模式树的分层挖掘算法。该算法首次提出并实现了可累加挖掘,并以实例分析进行了验证。 相似文献
13.
网络日志数据量日益增大。如何从巨大的网络数据中提取有效信息是数据研究人员一直关心的问题。入侵模式挖掘系统(Intrusion Digger)结合了数据挖掘技术与入侵检测技术,旨在通过发现关联规则而对网络数据进行判别。最小支持度小于所有支持度的项集称为频繁项集,简称频集。基于划分改进的Apriori算法明显优越于原来的算法。基于划分改进的Apriori算法为入侵模式挖掘系统的设计提供了重要的理论支持。 相似文献
14.
频繁项目集挖掘是数据挖掘应用研究的一个重要研究内容.文章在FP-Growth算法的基础上,提出了一种基于集合的频繁项目集挖掘算法,该算法直接对FP-tree进行挖掘,不需要产生节点的条件模式基,因此在挖掘频繁模式集时节省了空间和时间,提高了算法的执行效率.最后对该算法进行了实例分析. 相似文献
15.
16.
《洛阳师范学院学报》2015,(8):65-67
本文在分析经典Apriori算法和FP-growth算法存在问题的基础上,提出了一种基于索引数组的频繁项集挖掘算法.该算法以Apriori算法为基础,通过引入索引数组,有效缩小了候选集的范围,同时,因无需要采用FP树的存储结构,节省内存.通过实验性能分析比较,该算法可以有效提高频繁项集挖掘效率. 相似文献
17.
为了解决频繁闭项目集挖掘中时间和存储开销大的问题,提出了一种基于FC-tree（频繁闭模式树）的频繁闭项目集挖掘算法max-FCIA（最大频繁闭项目集挖掘算法）.该算法利用哈希表映射事务数据库,通过对哈希表进行操作从而得到所有频繁项目集的支持度,进而生成包含所有频繁项目的有序树.经过剪枝处理的有序树就是包含所有最小频繁闭项目集的FC-tree,最后用最小频繁闭项目集生成频繁闭项目集.实验结果表明,该算法通过映射事务数据库,减少了扫描数据库所浪费的时间,提高程序执行效率.另外,运用有效的剪枝策略,避免了不必要候选项目集的生成,节省了存储空间,实验证明该算法是有效的. 相似文献
18.
为提升电网系统日志故障诊断效率,在 Spark 环境下,基于并行 Apriori 算法构建分布式日志故障挖掘系统,针对电网系统相关设备后台日志数据,构建频繁项集并挖掘关联规则,形成系统故障规则库,用于系统故障诊断。系统对 50 万条真实日志数据进行检验。结果表明,该系统可有效发现相关故障日志。同时,该系统在 80G 内存、10 个虚拟节点的集群上以 50s 的速度完成了故障挖掘工作,准确率达 90%,同时提升了原单机系统效率,实现了预期效果。 相似文献
19.
数据挖掘是目前数据库界广泛研究的课题,而频繁项集的挖掘是关联规则挖掘、序列模式挖掘、相关分析挖掘、聚类模式挖掘和回归模式挖掘等问题中的关键步骤.该文介绍了频繁项集挖掘算法的相关概念,对目前频繁项集挖掘典型算法进行了分析和比较,并作出了适当的评价. 相似文献
20.
董朝贤 《三门峡职业技术学院学报》2007,6(2):111-113
Apriori算法是一种有效的关联规则挖掘算法,Apriori算法使用一种称作逐层搜索的迭代方法得到频繁项集,但是它产生大量的候选项集,还需要多次扫描数据库,每次对数据库的重复扫描非常冗长,大量的时间消耗在内存与数据库中的数据交换上。因此笔者引入了一种不产生候选项集的频繁项集挖掘算法——FP-growth算法,并对FP-growth算法的相关性质、实现作以介绍。 相似文献