MLCommons 组织近日公布了 MLPerf Mobile v4.0 for Android 的最新基准测试结果，这是移动设备 AI 性能评估领域的里程碑式更新。该基准聚焦 Android 平台，模拟真实用户场景，帮助厂商优化硬件并加速 AI 应用部署。
基准测试概述
MLPerf Mobile v4.0 Android 版引入了七项核心任务，覆盖计算机视觉、自然语言处理和生成式 AI 等关键领域：
- Image Classification (ResNet50)：图像分类，使用 ImageNet 数据集。
- Object Detection (SSD-MobileNet)：目标检测，基于 COCO 数据集。
- Super Resolution (EDSR)：图像超分辨率，提升低分辨率图片质量。
- Speech Recognition (RNN-T)：语音识别，支持实时转录。
- 3D-UNet：医疗图像分割任务。
- BERT Squad：问答任务，评估 NLP 能力。
- Stable Diffusion：首次引入文本到图像生成，测试生成式 AI 性能。
测试强调低功耗和高吞吐量，适用于智能手机和平板等设备。
顶级性能表现
本次提交来自 Qualcomm、Samsung、MediaTek 和 Google 等厂商。以下是部分亮点结果（以 Offline 场景为例，单位：Samples/second）：
- Qualcomm Snapdragon 8 Gen 3 在 ResNet50 上达到 1,200+ 的峰值吞吐量，多项任务夺冠。
- Samsung Galaxy S24 Ultra（搭载 Snapdragon 8 Gen 3）在 Stable Diffusion 任务中表现出色，生成速度领先。
- MediaTek Dimensity 9300+ 在语音识别任务中紧追其后。
- Google Tensor G3 在 BERT Squad 上展现强劲 NLP 能力。
完整结果表格可在 官方页面 查看，支持 SingleStream、Server 和 Offline 三种场景。
意义与展望
此次更新优化了基准框架，支持更多 NPU 和 GPU 加速器，推动 Android 生态 AI 标准化。Stable Diffusion 的加入标志着生成式 AI 向移动端渗透。随着结果公开，开发者能更好地选择硬件，预计将加速 on-device AI 创新，如实时图像生成和智能助手。
MLPerf Mobile 继续引领行业，推动高效、可持续的移动 AI 发展。