sparklint:一种用于监视和调整Spark作业以提高效率的工具 源码

Sparklint 缺少的Spark Performance Debugger可以拖放到您的Spark应用程序中! 在2016年欧洲Spark峰会上进行: | | Spark Summit 2017 SF: | | 任务 提供有关Spark应用程序资源利用率的高级指标和更好的可视化 重要的应用程序生命周期统计信息,例如空闲时间,平均vcore使用率,位置分布 查看执行者的任务分配 FAIR Scheduler组的VCore使用情况图 按任务位置划分的VCore使用情况图 (WIP)查找可以从持久化中受益的rdds 帮助您找出瓶颈所在(WIP)有关应用瓶颈的自动报告 (WIP)有机会为正在