ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
中国知网全文收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
【摘要】鉴于传统方法在保障企业运营数据的存储与处理效果方面存在的局限性，本文提出了一种基于数据湖的企业运营数据并行处理方法，构建了一个包含数据接入层、数据存储层、数据转换层和交互应用层的企业运营数据湖架构，并建立了数据血缘关系，以增强数据湖的治理能力。 在该数据湖架构下，利用 Ｓｐａｒｋ 并行计算和分布式文件系统（ＨＤＦＳ）的分布式存储功能，实现了企业运营数据的并行处理。 实验结果表明：所提出的方法在数据丢失率、内存利用率和中央处理器（ＣＰＵ）占用率等关键指标上均表现出优良的性能，能够为企业决策提供有力支持。
