从研究到生产:EAGLE-3在Vertex AI加速开源LLM推理2-3倍
推测解码(Speculative Decoding)能显著提升LLM推理速度,但传统方法需额外训练低效的草稿模型。Vertex AI采用EAGLE-3创新方案,仅在目标模型内部层添加轻量级草稿头(仅占2-5%模型大小),简化训练并实现2x-3x解码加速。本文详述从数据清洗、嵌入生成、训练到使用SGLang在Vertex AI大规模部署的完整管道,分享关键挑战与经验教训,包括合成数据管道、离线训练、聊天模板应用、掩码处理及Zero-Overhead Overlap Scheduler优化。基准测试显示,在Llama 4 Scout 17B上,EAGLE-3显著降低TPOT并提升吞吐量。(128字)