共查询到19条相似文献，搜索用时 222 毫秒
1.
以Scopus数据库中"大数据"相关研究作为分析对象,采用关键词共现网络聚类的方法,确定相关的10个研究方向,分别是Hadoop研究、MapReduce优化、大数据下的数据挖掘研究、大数据下的网络安全与隐私、分布式计算机系统、数据密集型计算、可视化技术、物联网、移动云计算和云制造等研究方向。结合论文数、H指数等指标,识别不同研究方向下的代表性专家,并对其主要研究成果进行分析。结果发现网络安全与隐私中顶尖专家较多,同时在云制造方向下,我国大陆地区的研究人员较多。 相似文献
2.
以Hadoop为代表的分布式系统,正在逐渐成为大数据挖掘系统必要组成部分。因此,就是在Hadoop分布式系统上完成数据挖掘任务的一次实践。主要任务是使用Hadoop搭建分布式集群环境,并在该环境上部署数据挖掘任务。研究Hadoop系统架构,对其分布式文件系统HDFS和MapReduce并行编程模型的原理和实现进行深入理解。系统掌握数据挖掘过程,将传统的数据挖掘算法使用MapReduce编程实现,并针对Hadoop平台的数据挖掘算法的执行情况进行研究,主要分析其执行效率和可扩展性。选择数据挖掘中的数据聚类任务作为代表,并选择K-means聚类算法做深入研究,掌握其原理并编写其MapReduce版本,在Hadoop平台上测试并验证其效果。通过不同集群规模和不同数据规模的对比试验得出,使用Hadoop分布式系统进行数据挖掘任务具有良好地加速比和效率,计算能力的扩展性能分析也显示了其具有较大的潜力。 相似文献
3.
Hadoop作为一种开源的基础云计算框架,在电子商务中逐步得到了有效的应用,但其数据安全机制的薄弱已成为阻碍其发展的主要问题之一。本文首先归纳了电子商务环境下传统网络的安全问题以及安全机制,分析了云计算的数据安全问题,然后通过对Hadoop工作模式的描述,提出了Hadoop的数据安全需求,最后通过对Hadoop当前数据安全机制的研究,分析了其中的安全隐患,并提出了相应的解决办法,为Hadoop新数据安全需求的电子商务应用提供了技术支持。 相似文献
4.
5.
6.
Hadoop是一个能够对大数据进行分布式处理的软件框架,由于数据量特别大,备份它的所有数据必然是一个挑战。本文实现了一种快速、高效地对一个Hadoop系统上数据进行全备份的策略。首次全备份Hadoop上的数据需要读取和传输所有的数据,以后的全备份只需读取和传输变化的数据,对于没有变化的数据不需要进行读取和传输,直接把上次备份的image引用到新image中。由于Hadoop系统中数据的变化率比较低,这种实时的合成备份速度快、效率高。 相似文献
7.
8.
Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。 相似文献
9.
Hadoop是Apache旗下的开源云计算平台,它通过普通计算机集群的分布式计算实现了对海量数据可靠和高效地处理。随着Hadoop成为当今大数据时代不可缺少的重要工具,更多的企业将机密信息部署在Hadoop云平台上以便完成业务需求,导致Hadoop安全成为了不可忽视的问题。在诸多信息安全新兴技术中,访问控制是最基本也是最核心的一部分,本文通过构建基于用户历史行为和系统安全属性规则的用户画像,并设计相应的属性规则映射算法及用户状态动态评价模型,提出了一种面向Hadoop的自适应权限控制方案,能够实现用户权限的动态调控,从而更加有效保证用户在大数据时代下的信息安全。 相似文献
10.
为解决海量日志数据的存储分析问题,提出采用主流大数据Hadoop生态平台组件来进行解决以上问题;将大数据技术与高校网络日志数据存储与分析相融合,构建了一个基于大数据技术—Hadoop的校园网络日志分析平台,来进行实时监控高校学生的上网行为信息,进而辅助高校的教学管理,对高校的信息化改革具有重要意义。 相似文献
11.
《International Journal of Information Management》2016,36(4):618-625
Today’s data is sensitive that requires privacy and security both from the cloud service providers (CSP) as well as from users in its all the form of data states: data at rest, while transferring data, enquiring data, and processing the data. Cloud computing has been applied in the health sector, national security services, banking and other business and companies that store confidential data into the cloud as we have seen in recent years. Therefore, information and data security is a crucial issue that needs to be addressed thoroughly in the cloud computing business. This research deals with the performance analysis of recent cloud data security models. This paper proposes cloud data security models based on Business Process Modeling Notations (BPMN) and simulation results can reveal performances issues related to data security as part of any organizations initiative on Business process management (BPM). 相似文献
12.
以CNKI为数据来源,从不同研究角度对近十年我国住房保障问题进行了回顾与总结,主要包括：住房保障制度研究,城市流动人口住房保障问题研究,城镇中低收入群体住房保障问题研究,廉租住房问题研究,农村住房保障问题研究等,通过对已有研究文献的梳理与总结,为后续研究起到参考作用。 相似文献
13.
用可视化工具对CSSCI中2001-2011年的社会保障研究文献进行分析,以可视化图谱的形式展示我国社会保障学的研究热点和研究方法。结果显示,研究热点领域主要有社会保障制度与体系、社会保险、社会救助、农村社会保障以及农民工等;层次分析法、回归分析、聚类分析、模糊评价、DEA等研究方法近年来得到了广泛关注。 相似文献
14.
移动自组网是一种不需要基础设施无线网络。由于使用无线信道，并且各节点在 网络中自由的移动造成的动态拓扑结构，移动自组网的安全问题近年来得到了国内外研究 者的关注。本文首先介绍了移动自组网中的安全问题及要求，现有方案如何解决这些安全 问题，然后提出了一种实现树形层次间安全的解决方案。本文最后给出了对提出的安全方 案的分析。 相似文献
15.
《Information processing & management》2023,60(3):103271
Because of the rapid increase of data in the cloud of Amazon Web Service (AWS), the traditional methods for analyzing this data are not good and inappropriate, so unconventional methods of analysis have been proposed by many data scientists such as concurrent/ parallel techniques to meeting the requirements of performance and scalability entailed in such big data analyses. In this paper we are used Hadoop Map Reduce system that contains Hadoop Distributed File System (HDFS) and Hadoop cluster. We optimized it by combining it with five efficient Data Mining (DM) algorithms such as Support Vector Machine (SVM), Decision Tree (DT), Random Forest (RF), Correlative Naïve Bayes classifier (CNB), and Fuzzy CNB (FCNB) for strong analytics of cloud big data. The proposed system applied on product review data that taken form the cloud of AWS. The Evaluation of Hadoop Map Reduce done with important benchmarks as Mean Absolute Percentage Error (MPAE), Root Mean Square Error (RMSE), and runtime for word count, sort, inverted index. Also, the evaluation of DM models with Hadoop Map Reduce system done by using accuracy, sensitivity, specificity, memory, and running time. Experiments have shown that FCNB is effective in addressing the problem of big data. 相似文献
16.
近年来,福建省在粮食安全方面取得了一定的进展,但仍存在着粮食安全方面的隐患。粮食流通安全问题的重要性El趋上升,逐步成为影响粮食安全的主要瓶颈。物流贯穿于粮食流通全过程,能够有效地衔接粮食产销环节,保障粮食流通安全。然而,福建省的粮食流通安全体系仍不成熟,无法满足粮食安全的需求。在此基础上,亟需对福建省粮食流通安全问题及其发展对策进行研究。 相似文献
17.
水资源安全风险评价是对水资源进行风险管理的重要基础。本文以水资源安全内涵为基础,结合灾害系统论和风险理论,构建了水资源安全风险评价指标体系和水资源安全风险评价模型,并且采用主观AHP（层次分析法）和客观熵权法结合离差平方和最优组合赋权法进行确权,结合近年相关数据指标计算出各省级研究单元的水资源安全风险值,并根据自然断点法划分极高、高、中、低、极低5个风险等级,最后将极高风险、高风险、以及中等风险地区的水资源安全风险类型,划分为水量短缺风险、水质污染风险、干旱风险和洪涝风险。研究结果显示：水量短缺型风险主要分布在京津冀地区、辽宁、山东、河南、宁夏和甘肃地区;水质污染型风险有上海、辽宁、京津冀地区、江苏、吉林、山西、河南和广西地区;干旱型风险有黑龙江、陕西、甘肃、海南、新疆、内蒙和宁夏地区;洪涝型风险有广东和福建地区。针对不同风险类型提出相应的风险防控措施,从而为全国水资源安全管理提供科学有效的依据。 相似文献
18.
云存储技术迅猛发展的同时也引起诸多安全问题,在云存储环境中,数据被外包给云服务器而处于用户控制之外,如何实施新颖可信的访问控制技术就变得非常关键。作为一类新兴的公钥加密技术,基于属性的加密算法以其灵活性被广泛应用在云存储访问控制方案的设计中。文章提出了一种基于属性加密的云存储访问控制方案,方案可以实现安全的云存储,系统采用基于角色的访问控制技术实现身份验证、对属性的加密/解密以及对非敏感数据的访问。最后通过仿真实验证明该方案是一种可以保证数据完整性和机密性的云存储访问控制。 相似文献
19.
近年来,我国公共安全事件频发,给社会带来严重的经济损失和人员伤亡,如何有效治理公共安全是社会和政府共同关注的课题,学界对此也展开大量研究。对已有文献进行系统梳理,有助于把握我国公共安全研究的现状,总结经验和教训,助推公共安全理论研究和实践进步。目前已有部分定性研究综述,但缺乏对国内已有研究的量化和可视化分析。本文以CSSCI数据库中关于公共安全研究的文献作为研究对象,运用Citespace4.0软件绘制国内公共安全研究的知识图谱,并围绕研究现状、研究热点和演化趋势3个方面展开详细研究。梳理发现,国内公共安全研究大致可以分为3个阶段,主要围绕基本理论、管理体系、风险评估及治理、突发公共安全事件应对、信息发布与舆情引导5个方面展开研究,并指出未来研究趋势。 相似文献