MLCommons 获 NSF 资助 打造 MLPerf Agents 代理 AI 基准

MLCommons 已被选为 STRIDE Ventures AI Efficiency Challenge 的基准团队。该项目由美国国家科学基金会技术、创新与伙伴关系司（NSF TIP）支持，通过 350 万美元、为期两年的资助，MLCommons 将开发 MLPerf Agents——一项全新基准，用于衡量代理 AI 系统完成真实工作的效率。

为何代理 AI 需要全新基准

现有基准主要衡量单次推理的时间、成本与能耗，但难以充分反映代理 AI 的实际运作方式。代理系统需经历多轮交互、工具调用、信息检索、上下文增长、失败恢复与自我验证，与单一模型响应提示截然不同。

MLPerf 现有推理基准已在部分领域捕捉此类复杂性，而 MLPerf Agents 将进一步扩展至完整工作流，涵盖代理框架、模型选择、检索、工具执行、编排、状态管理、失败恢复与验证，从而全面评估端到端效率。

MLPerf Agents 的四大创新

• 效率与成功绑定：仅针对成功完成的任务统计成本、能耗、延迟与吞吐，验证方法参考 MLCommons AI 风险与责任工作组。
• 全栈测量范围：资源统计覆盖整个代理技术栈，精准定位低效环节。
• 跨架构可比结果：统一工作负载、追踪规则与验证标准，便于买家比较完整解决方案。
• 可信验证机制：隐藏验证数据集结合 MLPerf 同行评审与审计流程，降低基准作弊风险。

基于八年 MLPerf 经验

MLPerf Agents 将依托 MLPerf Inference 与 MLPerf Power 等成熟基准，遵循开放协作流程，由 MLCommons 社区共同制定工作负载、规则与参考实现。David Kanter 与 Vijay Janapa Reddi 将牵头推进，Qualcomm、NVIDIA、Intel 等多家机构参与支持。

关于 AI Efficiency Challenge

该挑战由 STRIDE Ventures 运营，是美国国家科学基金会与 Start2 Group 共同推出的国家级创新平台，更多信息可访问 stride-ventures.com/ai-efficiency-challenge。