ISSN 1009-5624 CN 10-2021/TQ    主管:中国乐凯集团有限公司    主办:北京乐凯科技有限公司

中国知网全文收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
首页 > 刊期 > 2022 > 9期 > 信息:技术与应用
基于 Hadoop 的 NetCDF 数据存储研究
任晓鸽

【摘要】随着新的传感器等采集技术的日益完善、多样化和互联网技术的快速发展,各科学领域采集数据成倍激增,科学数据通常以 (network Common Data FormNetCDF) 的数据格式存储,一旦损坏较难恢复,且系统读写数据需要频繁的调用磁盘资源,不利于数据的共享、迁移与管理。Hadoop 分布式存储方案具有明显优势,但不支持 NetCDF。因此,无法使用基于 HDFSHadoop Distributed File System)文件系统工具进行分析、处理、计算数据。深入分析 HDFS 数据存写、分块架构,增加了对 NetCDF 数据读写接口,提高了数据的可移植性和访问效率,便于数据集的共享,有利于科学计算。

【关键字】NetCDF 数据格式存储;分布式存储;Hadoop 系统;HDFS 文件系统