MLPerf Endpoints：为何成为买家选购AI推理系统的关键基准

MLPerf Endpoints测量什么

MLPerf® Endpoints专注于评估推理系统在生产环境下的实际交付能力。它不是孤立测试单一调优配置，而是将模型、硬件、serving软件与网络作为一个整体端点，在真实负载下进行测量，模拟客户日常使用推理服务的方式。

买家能获得什么

完整运行前沿而非单一数据点。每个Endpoints结果呈现跨并发级别的Pareto前沿，让买家清晰看到不同负载下的吞吐与响应表现，从低并发交互式应用到高并发服务场景均适用。

与决策直接相关的指标。五大核心指标包括：并发（系统同时服务的查询数）、首Token延迟P90、系统吞吐量（tokens/s）、每瓦系统吞吐量（TCO代理指标）以及用户交互性（tokens/s/user）。

与市场同步的结果。Endpoints采用滚动提交机制，每几周发布一批结果，确保基准紧跟最新模型与软件。

可信的同行评审流程。结果分为已验证、临时和未验证三种状态，买家可据此评估可靠性。

Endpoints与其他基准的差异

传统MLPerf Inference在固定场景和预设点测试单次推理，而Endpoints测量真实售卖和使用的端点，涵盖全范围并发及单次与多轮agentic任务。它展示完整前沿曲线、包含完整serving栈，并明确揭示吞吐与用户体验的权衡，支持滚动更新。

如何阅读Endpoints结果

买家可按四步操作：定位工作负载对应并发区域；设定SLA（TTFT P90与交互性）；在满足SLA的系统中比较吞吐量；用provisioned power进行归一化比较。

MLCommons为何转向Endpoints

这一演进反映企业AI采购、部署与消费的现实转变。现代买家购买的是完整集成serving栈而非裸硬件，Endpoints能更好预测动态、多轮生产负载下的真实运营表现。