MLPerf 发布端到端 RAG 推理基准

MLCommons 推出首个端到端检索增强生成(RAG)推理基准,涵盖文档摄取与多跳问答全流程。该基准采用 FRAMES 数据集,包含 824 个多跳查询和 2515 篇维基百科文章,支持从实时检索文档生成答案,有效降低幻觉并利用私有知识。基准测量摄取管道与 QnA 管道的整体性能,揭示模型放置、共驻、调度及前缀缓存等优化空间,为真实部署和未来智能体 AI 基准奠定基础。

MLC MLPerf RAG基准
742

双盲设计:构建可信AI评估的核心保障

随着AI在金融、医疗等敏感领域的广泛部署,企业迫切需要了解模型在其特定数据和用例下的可靠性和安全性。然而,传统评估方式难以兼顾数据隐私、模型权重保护以及基准完整性。MLCommons携手Google DeepMind、OpenMined与AVERI,首次开展双盲评估概念验证。通过保留的AILuminate™安全基准提示集和安全计算环境,实现了测试数据、模型权重与评估过程的加密隔离,既避免了基准污染,也保护了各方知识产权。该方法为未来目的特定AI部署提供了高完整性、可信赖的评估路径,标志着行业向IP安全、抗饱和测试标准迈进。

MLC AI评估 双盲测试
706