Groq (共1篇)

Groq LPU刷新LLM推理速度纪录：每秒500 Token远超GPU

AI芯片初创公司Groq近日公布LPU（语言处理单元）在LLM推理中实现每秒500 Token的新纪录，远超传统GPU性能。公司演示视频在X平台病毒式传播，开发者赞叹其低延迟潜力，或将重塑AI推理市场格局。