ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
【摘要】随着大数据技术的迅速发展,分布式计算框架成为处理海量数据的核心支撑。 针对当前分布式计算框架在实际应用中存在的性能瓶颈问题,本研究通过分析分布式计算资源调度策略、任务并行优化方法及数据本地化处理机制,提出一套系统的性能调优方案。 研究结果表明:基于动态负载均衡的资源调度策略能有效提升资源利用效率;多级任务并行处理机制可显著降低计算延迟;而数据本地化处理机制大幅减少了网络传输开销。 优化后的分布式计算框架在数据处理效率、资源利用率和系统吞吐量等方面均有显著提升,其中任务处理时间平均缩短 35. 5%,资源利用率显著提升,具体表现为 CPU 利用率提升了 58. 6%,内存利用率提升27. 4 个百分点,为大规模数据处理提供了可靠的技术支持。