MLPerf Tiny v1.3 概述
MLPerf Tiny v1.3 是MLCommons推出的最新边缘AI基准版本，专为资源受限设备设计，如微控制器（MCU）和低功耗边缘处理器。该基准旨在标准化TinyML模型评估，帮助开发者比较不同硬件和软件栈在准确率、延迟和功耗方面的性能。
相较前版，v1.3引入两大全新基准：Image Classification (IC) 和 Visual Wake Words (VWW)，并对现有Keyword Spotting (KWS) 和 Anomaly Detection (AD)进行了优化。这些更新反映了边缘AI在智能家居、穿戴设备和物联网中的实际需求。
新增基准详解
Image Classification (IC)
IC基准使用CIFAR-10数据集，模型基于MobileNetV2架构。任务要求在224x224分辨率图像上实现高准确率，同时控制推理延迟在30ms以内。评估指标包括Top-1准确率和每瓦特吞吐量，适用于视觉边缘应用。
- 数据集：CIFAR-10（60,000张32x32彩色图像）
- 模型：MobileNetV2（量化至INT8）
- 性能目标：准确率>70%，延迟<30ms
Visual Wake Words (VWW)
VWW模拟设备唤醒场景，使用自定义数据集包含10万张图像（有/无唤醒手势）。模型采用轻量CNN，目标检测唤醒词如手势。强调低功耗，适合始终在线设备。
- 数据集：VWW v1.0（平衡正负样本）
- 模型：EfficientNet-Lite（优化版）
- 指标：召回率>90%，功耗<1mJ/推理
优化基准更新
Keyword Spotting (KWS)
基于Google Speech Commands v2数据集，引入多关键词支持（如10类命令）。模型使用TC-ResNet，准确率目标提升至95%以上。
Anomaly Detection (AD)
针对工业传感器数据，使用NAB数据集。模型为Autoencoder变体，检测异常阈值F1分数>0.85。
评估规则与框架
所有基准采用闭合模型规则（Closed Division），支持自定义实现（Open Division）。推理框架包括TensorFlow Lite Micro、TVM和SGLang。提交需报告离线准确率、实时因子（RTF） 和硬件规格。首次提交截止日期为2025年Q1。
- 硬件范围：MCU（<1MB RAM）、边缘SoC
- 量化支持：INT8/FP16
- 功耗测量：标准电源追踪
意义与展望
MLPerf Tiny v1.3 推动TinyML生态成熟，预计首批结果将于2025年发布。开发者可通过MLCommons官网下载基准套件，开始优化部署。