redata:数据团队的监视系统。 计算数据的运行状况检查并在Grafana中可视化并发出警报 源码

重新资料 数据团队监控系统。 计算数据的运行状况检查(通过Airflow作业),将其随时间可视化,并在Grafana中发出警报。 主要特点 指标层 Redata为您的数据计算健康指标,其中包含如下信息: 自上次记录添加以来的时间 最近(小时/天/周/月)中添加的记录数 最近发生的架构更改 一段时间内列中的空值数量 特定于数据列及其类型的其他检查 如果您有DevOps经验,则可以将其视为:普罗米修斯,数据团队的Telegraf 自动仪表板 通过采用一种通用格式的指标,可以为数据中的所有(或选定的)表自动创建仪表板。 当前有两种类型的仪表板重数据创建: 主页仪表板,包含有关所有表的最重要信息