ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
【摘要】随着新的传感器等采集技术的日益完善、多样化和互联网技术的快速发展,各科学领域采集数据成倍激增,科学数据通常以 (network Common Data Form,NetCDF) 的数据格式存储,一旦损坏较难恢复,且系统读写数据需要频繁的调用磁盘资源,不利于数据的共享、迁移与管理。Hadoop 分布式存储方案具有明显优势,但不支持 NetCDF。因此,无法使用基于 HDFS(Hadoop Distributed File System)文件系统工具进行分析、处理、计算数据。深入分析 HDFS 数据存写、分块架构,增加了对 NetCDF 数据读写接口,提高了数据的可移植性和访问效率,便于数据集的共享,有利于科学计算。