MLPerf Client v0.6基准测试结果发布
MLCommons近日公布了MLPerf Client v0.6基准测试结果，这是首个针对客户端设备（如手机、笔记本）的标准化AI推理基准。新版本引入Llama 2 70B和Stable Diffusion等热门大模型工作负载，涵盖离线、服务器、单流等7种场景。NVIDIA、Qualcomm、MediaTek等厂商提交结果，展示了TensorRT-LLM、Snapdragon等平台的强劲性能。例如，在Llama 2 70B离线场景下，NVIDIA占据领先。结果凸显边缘AI推理的进步，推动移动设备大模型部署。（128字）