SparkPipelineFramework:用于更简单的Spark Pipelines的框架 源码

SparkPipelineFramework SparkPipelineFramework实现了一些设计模式,以使创建Spark应用程序更加容易,这些应用程序: 将数据转换逻辑与管道执行代码分开,因此您只需将转换器串联在一起就可以组成管道。 (基于SparkML Pipeline类,但已增强为可用于ML和非ML转换) 无需编写任何代码即可运行SQL转换 启用转换的版本控制,以便不同的管道可以使用每个转换器的旧版本或新版本。 这使您可以自行选择升级每个管道 在创建管道时启用转换的自动完成功能(在PyCharm中)。 实施许多关注点分离,例如日志记录,性能监控,错误报告 支持非ML,ML和