datax web:DataX集成可视化页面选择数据源即可使用一键生成数据同步任务支持RDBMSHiveHBaseClickHouseMongoDB等数据源批量

数据网 DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,减少用户使用DataX的学习成本,更改任务配置时间,避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务,支持RDBMS,Hive,HBase,ClickHouse,MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl -job可根据时间,自增主键增量同步数据。 任务“执行器”支持部署,支持执行器多字节路由策略选择,支持超时控制,失败重试,失败中断,任务依赖,执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持,数据转换UDF,表结构同步,数据同步血缘等更复杂的业务场景。 架构图: 系统要求 语言:Java 8(jdk版本建议1.8.201以上) Python2.7(支持Python3需要修改