dataloading_using_airflow 源码

目的: 开发了用于分析许多用户根据其流行程度播放的歌曲的数据管道。 我们使用气流来自动化该项目的整个工作流程,并监视enitre管道。 该项目回购包含: dags-包含Airflow dag代码一个名为table.sql的文件-此项目涉及的所有父表的表定义src文件夹-包含运行整个项目所涉及的所有src代码sqls文件夹-包含所有需要自动化的sql 名为config.json的文件-用作参数文件,将读取脚本中涉及的所有变量