项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量(Java版本)

此篇文章主要选取关键性指标,数据校验数据源Hive和目标ES内的数据是否一致; 因为你不知道将Hive的数据导入到了ElasticSearch后,数据量是否准确,所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,注意,这个项目打包后,最好另起一个进程调用,并且开始时间为文章1或者2最大预估的结束时间后的10分钟后调用,这样可以校验两种情形: 1.ETL项目被调度了,但是造成了数据异常,可以捕捉到; 2.ETL项目压根就没起来,即超时了,造成了数据异常,亦可被捕捉!