ISSN 1009-5624 CN 10-2021/TQ    主管:中国乐凯集团有限公司    主办:北京乐凯科技有限公司

中国知网全文收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
首页 > 刊期 > 2025 > 10期 > 信息:理论与观点
大数据平台下分布式计算框架性能调优技术研究
赵晓娜

【摘要】随着大数据技术的迅速发展,分布式计算框架成为处理海量数据的核心支撑。 针对当前分布式计算框架在实际应用中存在的性能瓶颈问题,本研究通过分析分布式计算资源调度策略、任务并行优化方法及数据本地化处理机制,提出一套系统的性能调优方案。 研究结果表明:基于动态负载均衡的资源调度策略能有效提升资源利用效率;多级任务并行处理机制可显著降低计算延迟;而数据本地化处理机制大幅减少了网络传输开销。 优化后的分布式计算框架在数据处理效率、资源利用率和系统吞吐量等方面均有显著提升,其中任务处理时间平均缩短 35. 5%,资源利用率显著提升,具体表现为 CPU 利用率提升了 58. 6%,内存利用率提升27. 4 个百分点,为大规模数据处理提供了可靠的技术支持。

【关键字】分布式计算;性能调优;资源调度;任务并行;数据本地化
【PDF】