论文研究 应用驱动的基于流式框架的实时数据分区算法.pdf

数据分区技术是改善基于shared-nothing架构的大型应用性能的重要手段。当前的数据分区技术无法高效处理应用负载所蕴涵的动态、大规模分区信息，无法即时生成分区策略。为了解决传统数据库分区技术面临的问题，实现分区的实时处理，提出了与流式框架相结合的实时数据分区算法，通过构建关联矩阵映射分区信息，并基于代价模型实现数据分区方案的即时生成，采用流式框架的水平扩展机制实现了算法的高扩展性和高吞吐量适应性。实验结果表明，与现有分区方法相比，算法有较好的分区效果和较低的时间复杂度。该算法是大数据环境下针对大规模、动态工作负载进行实时数据分区的有效手段。