| 基于 Hadoop 平台的海量文件存储策略研究 |
| |
| 引用本文： | 江建举,仵博,孟宪军,冯延蓬,何国坤.基于 Hadoop 平台的海量文件存储策略研究[J].深圳职业技术学院学报,2014(3):67-70. |
| |
| 作者姓名： | 江建举 仵博 孟宪军 冯延蓬 何国坤 |
| |
| 作者单位： | 深圳职业技术学院教育技术与信息中心,广东深圳518055 |
| |
| 基金项目： | 广东省自然科学基金资助项目（S2011040004769）和深圳市科技研发资金资助项目（JCYJ20120617134831736） |
| |
| 摘 要： | 针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.
|
| 关 键 词： | Hadoop HDFS 小文件 存取策略 |
Hadoop-based Storage Strategy for Mass Files |
| |
| JIANG Jianju,WU Bo,MENG Xianjun,FENG Yanpeng,HE Guokun.Hadoop-based Storage Strategy for Mass Files[J].Journal of Shenzhen Polytechnic,2014(3):67-70. |
| |
| Authors: | JIANG Jianju WU Bo MENG Xianjun FENG Yanpeng HE Guokun |
| |
| Institution: | (Education Technology and Information Center, Shenzhen Polytechnic, Shenzhen, Guangdong 518055, China ) |
| |
| Abstract: | In order to solve the performance bottleneck of small files I/O in classic HDFS, this paper proposes an optimal HDFS storage strategy characterized by file preprocessing, metadata information expansion, and improved metadata mass operation. Tests indicate that the optimal strategy can improve the mass small files I/O performance for HDFS. |
| |
| Keywords: | Hadoop HDFS small file storage strategy |
| 本文献已被 CNKI 维普 等数据库收录！ |
|
