基于Map_Reduce的并行关联分析方法

本文在研究BIRCH算法、规则关联算法、Hadoop的map/reduce机制的基础上,提 出了一种基于map/reduce的应用于网络安全事件分析的并行关联方法。一方面,通过对BIRCH 算法的改进,在BIRCH的分层次思想中引入预定义的规则库进行聚类,可以实现多级关联以 及提高聚类的收敛效果,从而达到精简报警教的目的;另一方面,把该关联算法与Hadoop的 map/reduce相结合,实现了算法的并行化计算,在一定程度上提高了算法的运行效率。最后的 实验结果表明,采用该关联方法可以有效提高聚类效果,减少重复报警,缩短关联分析的执行 时间。