ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
【摘要】针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统( Hadoop distributed filesystem,HDFS)架构设计。 通过分析 HDFS 架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。 研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。