面向大规模数据的分布式存储优化方法
仇 旭
【摘要】针对大规模数据环境下分布式存储系统负载不均、冗余开销大及检索效率低等问题,本文提出了融合极端梯度提升(XGBoost)负载预测与熵值分配的动态权重分片算法,设计基于有限域矩阵的自适应纠删码编码机制,构建融合单指令多数据流(SIMD)压缩倒排链与可导航小世界(NSW)图的混合索引结构,建立数据分布感知的协同优化策略。 实验结果表明,所提优化方法在存储均衡性、编码效率及检索性能方面均显著优于传统方案。
【关键字】分布式存储;大规模数据;动态分片;纠删码优化;混合索引;协同优化
【PDF】