全球机器学习技术大会刘松伟AIGC模型量化与稀疏优化

全链路优化的大模型推理经验分享，刘松伟在全球机器学习大会讲得挺干货。AIGC 模型怎么通过量化、稀疏化来省算力？嗯，他直接把 ByteNN 团队的做法摊开了：算量削一削、缓存调一调，端云分级优化也安排上，响应速度快了不少，成本也下来了。尤其是 LLM 和 SD 模型，策略不太一样，前者多维度优化，后者更偏计算密集型。实用建议？多试试轻量化预训练模型，比如SDXL或SSD-1B，还能用多教师蒸馏和RLHF来提升效果。如果你做移动端落地，别忘了针对不同 GPU 平台调优，ByteNN 团队的思路值得参考。