ARS
谷歌Gemma 4开源模型采用推测解码,速度提升3倍
谷歌最新发布的Gemma 4开源AI模型引入了“推测解码”(Speculative Decoding)技术,通过辅助模型预先生成多个令牌再由主模型并行验证,在保持输出质量的同时将推理速度提升最高3倍。这一创新将两个模型合并为一个稀疏专家混合架构,降低了通信开销,为大模型开源社区提供了兼具高效与开放性的新选择。
谷歌最新发布的Gemma 4开源AI模型引入了“推测解码”(Speculative Decoding)技术,通过辅助模型预先生成多个令牌再由主模型并行验证,在保持输出质量的同时将推理速度提升最高3倍。这一创新将两个模型合并为一个稀疏专家混合架构,降低了通信开销,为大模型开源社区提供了兼具高效与开放性的新选择。
谷歌近期发布开源多模态AI模型Gemma 4,支持视频图像处理,采用Apache 2.0许可证,搭载TurboQuant技术可将KV缓存压缩至3比特实现6倍内存节省,社区反响积极,但性能对比与落地表现仍待验证,winzheng.com Research Lab带来独家技术分析。