基于CPU的深度学习推理部署优化实践

本文来自于infoq爱奇艺技术产品团队,本文将详细介绍系统级优化方法,以及深度学习云平台落地的应用和算法,希望对您的学习有所帮助。 随着人工智能技术在爱奇艺视频业务线的广泛应用,深度学习算法在云端的部署对计算资源,尤其是GPU资源的需求也在飞速增长。如何提高深度学习应用部署效率,降低云平台运行成本,帮助算法及业务团队快速落地应用和服务,让 AI发挥真正的生产力,是深度学习云平台团队努力的目标。从基础架构的角度,GPU资源的紧缺和GPU利用率的不足是我们面临的主要挑