模型压缩 (共1篇)

谷歌TurboQuant算法：LLM内存使用骤减6倍

谷歌推出TurboQuant AI压缩算法，可将大型语言模型（LLM）的内存占用降低高达6倍，同时保持输出质量不变。这一创新解决了AI模型部署中的高内存痛点，推动边缘设备和云端应用的普及。相较传统量化方法，TurboQuant避免了性能衰减，适用于Gemini等主流模型。未来，这一技术或将重塑AI硬件需求，降低训练与推理成本。