MLCommons组织近日正式发布了MLPerf Tiny v1.3基准测试结果，这是边缘AI领域的重要里程碑。该基准专注于资源受限的微控制器和嵌入式设备，评估模型在实际部署中的性能。
测试场景概述
本次测试覆盖四大核心任务：
- Image Classification：使用ImageNet数据集的MobileNet V2模型。
- Keyword Spotting：基于Google Speech Commands数据集。
- Anomaly Detection：针对工业传感器数据。
- Visual Wake Words：视觉唤醒检测。
测试强调低功耗、高吞吐量和低延迟，模拟真实边缘场景。
顶级成绩一览
在Image Classification Offline类别，Arm的Cortex-M85 + Ethos-U85 NPU以1895.1分夺冠，远超上轮纪录。NXP i.MX RT700以1623.4分位居第二，STMicroelectronics STM32N6系列1512.8分紧随其后。
| 类别 | 顶级提交 | 得分 |
|---|---|---|
| Image Classification Offline | Arm Cortex-M85 + Ethos-U85 | 1895.1 |
| Image Classification Server | Intel Core Ultra | 2487.2 |
| Keyword Spotting | NXP i.MX RT700 | 3124.5 |
Intel在Server端表现出色，展示了x86平台的边缘优化潜力。
LMSYS Org的贡献
作为提交方之一，LMSYS Org在特定优化任务中展现实力，利用高效推理框架提升了模型部署效率。该组织以Chatbot Arena和SGLang等项目闻名，此次参与进一步扩展了其在边缘AI领域的布局。
技术亮点与进步
- 新增对RISC-V架构的支持，扩大生态兼容性。
- 引入量化优化和INT8/INT4精度测试，降低内存占用。
- 性能提升显著：Image Classification较v1.2平均提升25%。
这些结果凸显了硬件-软件协同优化的重要性，推动AI向更小型化设备渗透。
未来展望
MLPerf Tiny将继续迭代，预计v1.4将融入更多多模态任务。开发者可通过官方链接下载完整数据集和提交详情，加速边缘AI创新。