MLPerf Client 1.5 发布公告
MLCommons 组织宣布推出 MLPerf Client 1.5，这是针对客户端推理场景的最新基准测试套件。该版本聚焦于移动设备、笔记本电脑和边缘设备上的 AI 性能评估，提供更贴近真实应用的测试标准。
主要更新与新特性
- 新增基准场景：引入更多客户端典型负载，如实时图像分类、NLP 任务和生成式 AI，支持
BERT、Stable Diffusion等热门模型。 - 优化测试协议：改进 SingleStream（单流）和 Server（服务器式多流）类别，模拟真实用户交互，提升可重复性和公平性。
- 性能指标扩展：新增功耗、延迟和吞吐量综合评估，强调能效比。
首批结果亮点
本次发布包含来自多家领先厂商的首次提交结果。NVIDIA 在 GPU 加速场景中领跑，Qualcomm 和 MediaTek 在 SoC 平台表现出色。结果采用类似 Elo Rating 的排名体系，直观展示系统性能。
- NVIDIA A100：在 SingleStream BERT 任务中达到最高吞吐量。
- Qualcomm Snapdragon：在低功耗 Server 场景下领先。
- 整体趋势：软件栈优化（如 TensorRT、ONNX Runtime）显著提升分数。
对行业的意义
MLPerf Client 1.5 为开发者提供标准化工具，帮助优化 AI 模型在资源受限设备上的部署。随着 GenAI 在客户端的普及，本基准将加速硬件创新，推动从智能手机到 IoT 设备的 AI 落地。
更多详情请访问 官方链接。