论文研究基于Spark的电力调度数据整合模型.pdf

随着大数据理念在电力行业的应用，构建电力调度数据仓库是支撑电力调度中心统一数据平台的基础，针对电力调度中心的数据仓库将多源数据整合时面临的重复冗余和不一致问题，提出一种基于Spark的电力调度数据整合模型。设计并行化正向最大匹配去冗算法，对多个系统内冗余数据进行过滤操作；给出面向关联度的数据一致性处理方法，依据特征向量的夹角余弦值判断数据间的联系，进而对不一致数据修复。通过对某电力调度中心的数据进行整合实验，验证了该数据整合模型的可行性。