MLPerf Client 1.5 正式发布

MLPerf Client 1.5 发布公告

MLCommons 组织宣布推出 MLPerf Client 1.5，这是针对客户端推理场景的最新基准测试套件。该版本聚焦于移动设备、笔记本电脑和边缘设备上的 AI 性能评估，提供更贴近真实应用的测试标准。

主要更新与新特性

• 新增基准场景：引入更多客户端典型负载，如实时图像分类、NLP 任务和生成式 AI，支持 BERT、Stable Diffusion 等热门模型。
• 优化测试协议：改进 SingleStream（单流）和 Server（服务器式多流）类别，模拟真实用户交互，提升可重复性和公平性。
• 性能指标扩展：新增功耗、延迟和吞吐量综合评估，强调能效比。

首批结果亮点

本次发布包含来自多家领先厂商的首次提交结果。NVIDIA 在 GPU 加速场景中领跑，Qualcomm 和 MediaTek 在 SoC 平台表现出色。结果采用类似 Elo Rating 的排名体系，直观展示系统性能。

• NVIDIA A100：在 SingleStream BERT 任务中达到最高吞吐量。
• Qualcomm Snapdragon：在低功耗 Server 场景下领先。
• 整体趋势：软件栈优化（如 TensorRT、ONNX Runtime）显著提升分数。

对行业的意义

MLPerf Client 1.5 为开发者提供标准化工具，帮助优化 AI 模型在资源受限设备上的部署。随着 GenAI 在客户端的普及，本基准将加速硬件创新，推动从智能手机到 IoT 设备的 AI 落地。

更多详情请访问 官方链接。