ISSN 1009-5624 CN 10-2021/TQ    主管:中国乐凯集团有限公司    主办:北京乐凯科技有限公司

中国知网全文收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
首页 > 刊期 > 2024 > 4期 > 记录:数据与存储
基于大数据的分布式文件存储系统架构设计
杨 明

【摘要】针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统( Hadoop distributed filesystem,HDFS)架构设计。 通过分析 HDFS 架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。 研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

【关键字】大数据;分布式文件存储;文件存储系统设计