ISSN 1009-5624 CN 10-2021/TQ 主管:中国乐凯集团有限公司 主办:北京乐凯科技有限公司
【摘要】本文探讨了基于云计算的大规模数据处理框架,旨在解决当今社会和经济环境中不断增长的数据挑战。首先,介绍了云
计算的概念和特点,并提出了一个基于云计算的大规模数据处理总体框架。其次,介绍了包括分布式存储与计算、并行计算与任务调
度、数据安全与隐私保护在内的大规模数据处理技术。再次,进一步提出了一种数据安全与隐私保护算法———基于高级加密标准
(advanced encryption standard,AES)的变种,以确保数据在存储和传输过程中的安全性。最后,提出了一种并行计算与任务调度算
法———基于最短作业优先(shortest job first,SJF)算法的变种,以实现任务的高效执行。以上框架和算法共同为大规模数据处理提供
了高效、安全和可扩展的解决方案。希望此研究有助于推动云计算和大数据处理领域的进一步发展,以满足不断增加的数据需求。