从Hive迁移到SparkSQL有赞的大数据实践

有赞数据平台从2017年上半年开始,逐步使用SparkSQL替代Hive执行离线任务,目前 SparkSQL每天的运行作业数量5000个,占离线作业数目的55%,消耗的cpu资源占集群总资源的 50%左右。本文介绍由SparkSQL替换Hive过程中碰到的问题以及处理经验和优化建议,包括以下方面的内容:有赞数据平台的整体架构。