基于k d树分区的聚类算法并行加速策略

针对传 统K-Means算法存在准确率低、聚类速度慢的问题,从K-Means算法优化和Flink框架并行层面对K-Means算法优化。为避免算法陷入局部最优解,采用质心间最大距离原则选出k个质心;为提高大数据量下的K-Means聚类速度,提出用k-d树算法划分数据集实现操作算子并行化,设置多个Task Manager数目和CPU核数加速F-Kmeans算法的执行。实验结果表明,较K-Means算法,F-Kmeans算法的准确率提高了约3.6%;F-Kmeans算法在DataSource耗时降低了45.45%,在其余阶段耗时平均降低了约28.57%。