2025 MLC 新星榜单发布
MLCommons 组织近日公布了 2025 MLC Rising Stars 榜单，这是对 MLPerf Inference v5.0 基准测试中首次提交结果的特别表彰。这些系统采用 MLC（ML Compiler）框架，在各种 AI 推理任务中脱颖而出，展示了新兴硬件和软件优化的潜力。
榜单亮点
- NVIDIA H200 在 LLM 推理任务（如 Llama 3.1 405B）上，以 SGLang 运行时实现最高吞吐量，服务器端离线场景下达 1500+ tokens/s。
- AMD MI300X 在图像生成任务（Stable Diffusion XL）中表现出色，首次提交即进入新星行列。
- 其他新星包括基于 Intel Gaudi3 和自定义加速器的系统，在边缘和服务器场景下优化了延迟和能效。
这些结果基于标准 MLPerf 基准套件，包括 GPTJ、BERT 等经典模型，以及新兴的扩散模型和多模态任务。
MLC 框架的作用
MLC 作为开源编译器，支持 TVM 后端，能将模型编译为高效的机器代码，适用于 WebGPU、CUDA 等多种后端。此次榜单凸显其在生产部署中的优势，尤其在量化模型（如 INT4/INT8）上的加速效果高达 2-3 倍。
对 AI 行业的意义
Rising Stars 榜单鼓励更多厂商参与开源基准，推动硬件多样性和软件生态发展。LMSYS Org 等组织也表示，将继续跟踪这些系统在真实 Chatbot Arena 等场景下的表现。完整结果详见 官方链接。