luigi warehouse:由luigi驱动的分析仓库堆栈 源码

路易吉仓库 在Groupon上的样板实现 是一个Python软件包,可帮助您构建批处理作业的复杂管道。 它处理依赖关系解析,工作流管理,可视化,处理故障,命令行集成等 路易吉仓库增加了 工作流程示例(即将postgresql表复制到redshift) 更多数据来源 不依赖默认luigi行为/配置的可变数据源(即VariableS3Client ) 安装/设置 安装 -这已回购对Python进行了测试3.4+ 简单 python setup.py install 开发人员-如果您想使用自定义逻辑修改/使用工作流程 克隆此仓库 如果想要所有数据源的全部功能,请使用pip3 install -