daipe demo databricks 源码
Daipe框架项目模板 1.里面有什么 这是Daipe项目的框架,涵盖了我们针对Databricks项目的最佳实践。 Daipe专注于以下范例: 任何具有python基本技能的人都可以创建管道并改善业务逻辑, 开发标准的DataLake项目几乎不需要工程师, 适用于所有环境的代码(您最喜欢的IDE + Databricks UI), 随着项目的发展追求一致性。 每个人都将使用的基本组件: YAML中的配置 表和模式管理 自动部署到Databricks 文档自动化 主要由工程师使用的高级组件: 生产发布工作流程 单元和管道测试 扩展API 2.本地环境设置 首先需要安装以下软件: 或于Linux的标准Git( apt-get install git ) 我们建议使用以下IDE: 安装了 安装了 3.创建第一个由Daipe支持的项目 在Windows上,使用Git Bas
下载地址
用户评论