存储/缓存技术中的基于HADOOP的数据挖掘平台分析与设计

摘要:云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上,从而实现了对超大数据集的巨大的存储和计算能力。 HADOOP是一个用于构建云平台的Apache开源项目。使用HADOOP框架有利于我们方便、快速的实现计算机集群。在HADOOP平台上,采用了HDFS(分布式文件系统)来实现超大文件的存储和容错,而使用了MapReduce的编程模式来进行计算。 一、数据挖掘技术概述 作为一门快速发展的技术,数据挖掘引起了信息产业界和社会的广泛关注。数据挖掘技术跨越多个学科,无论是数据库技术、机器学习、统计学、模式识别