基于校园计算机构建 Hadoop 集群的存储性能优化研究
蔡吉云
【摘要】针对校园计算机资源利用率低与大数据存储需求矛盾的问题,本研究提出了基于异构校园计算机构建 Hadoop 集群的存储性能优化方案。 通过分析存储性能评估指标,设计了数据压缩与分片优化技术、Hadoop 分布式文件系统(HDFS)参数调优策略以及数据本地性优化方法,在校园计算机集群环境中进行实验。 结果表明,优化后的系统数据读取性能提升了 41.8%,写入性能提升了50. 9%,存储空间利用率提高了 38.5%,有效突破了校园异构硬件环境下的存储性能瓶颈,为校园大数据平台建设提供了经济高效的解决方案。
【关键字】Hadoop 集群;存储性能优化;校园计算机;数据压缩
【PDF】