Hadoop通用数据摄取框架Gobblin.zip

Gobblin是Hadoop通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，restAPIs，filers，等等。Gobblin处理日常规划任务需要所有数据摄取ETLs，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。Gobblin通过同样的执行框架从不同数据源摄取数据，在同一个地方管理所有不同数据源的元数据。同时结合了其他特性，比如自动伸缩，容错，数据质量保证，可扩展和处理数据模型改革等等。Gobblin变得更容易使用，是个高效的数据摄取框架。