信息记录材料

首页 > 刊期 > 2023 > 9期 > 信息：技术与应用

基于Ｓｐａｒｋ的大数据分析系统设计和实现

边宁

【摘要】为解决传统的数据分析方法存在低效率、弱扩展性及维护成本高等问题，结合大数据技术设计实现了一种基于Ｓｐａｒｋ的大数据分析系统，以此满足用户对数据分析的需求。该系统的设计主要由分层架构组成，分为应用层、服务层、存储层以及基础层等，并在满足用户对数据的可靠、高效的分析需求时，还有效降低了系统的后期维护成本，提高了系统的可扩展性。经测试结果证明，该系统的可行性。

【关键字】大数据技术；Ｓｐａｒｋ；大数据分析系统；设计研究；Ｈａｄｏｏｐ