AI可靠性地图：规则与环境
AI系统在各个领域的应用需要明确其行为并评估其可靠性。MLCommons的AI风险与可靠性工作组专注于提高AI可靠性，这不仅能推动市场增长，还能保护社会安全。通过制定详细计划并实施，确保AI系统在不同阶段的可靠性。
MLCommons (共22篇)
新鲜基准，可靠分数：引入AI风险评估的持续提示管理
AI行业每隔几个月就会推出新一代前沿模型，这些模型的能力不断提升，同时也改变了监管机构、企业和公众需要评估的风险格局。然而，用于衡量这些风险的基准并不会自动更新。本文介绍了MLCommons的AILuminate基准及其Continuous Prompt Stewardship System，该系统通过持续刷新提示数据集，确保基准的长期有效性。系统采用基于心理测量学的指标驱动刷新、闭环数据集再平衡、社区驱动的贡献者模型、双路径审查以及可审计的来源记录等机制，解决基准陈旧和污染问题。AILuminate v1.0包含24,000个人类创作的提示，覆盖12个危害类别，并获得最高长寿分数75分。该系统不仅维护AILuminate的可靠性，还为整个AI基准领域提供宝贵经验，帮助应对基准生命周期挑战。
MLCommons 发布 MLPerf Client v1.6：性能优化与用户体验升级
MLCommons 近日发布 MLPerf Client v1.6，这是评估个人电脑 AI 性能的最新基准测试套件。该版本针对笔记本电脑、台式机和工作站等设备，模拟真实生成式 AI 任务，如文本摘要、内容创作和代码分析，提供响应速度和吞吐量等标准化指标。新版更新了 Windows ML 和 llama.cpp 等核心运行时，支持 Apple 平台的 MLX with Metal 和 llama.cpp with Metal，提升性能与兼容性。同时，优化了图形界面启动速度、添加进度条，并允许禁用下载确认提示，提高重复测试效率。该基准由 AMD、Intel 等公司协作开发，开源免费，可通过 mlcommons.org/benchmarks/client 下载。（128字）
全球标准，本地真实：亚太多语言多模态AI安全基准试点
AI作为当今采用速度最快的通用技术，其全球普及却存在显著差距，反映出数字鸿沟。MLCommons推出AILuminate Culturally-Specific Multimodal Benchmark，针对亚太地区开发文化特定的多语言多模态数据集，揭示模型在全球南方语境下的性能短板。文章强调文化特定风险评估，避免简单二元标签，转而鼓励本地专家定义适当响应，如中国送钟禁忌。多模态场景如识别本地物品图像尤为关键。目前数据集已含7000+文本+图像提示，覆盖新加坡、印度、韩国等地，计划2026年夏季发布。全球伙伴合作确保基准接地气，推动AI安全公平性。（128字）
AI风险新标准：AILuminate全球保障计划重塑可靠性
人工智能行业正处于转折点，企业将AI从实验阶段推向金融、医疗和制造等关键业务时，可靠性验证成为核心障碍。MLCommons联盟（包括KPMG、Google、Microsoft和Qualcomm）推出AILuminate全球保障计划（AIL GAP），通过数据驱动机制桥接高层标准与实际技术性能差距。该计划围绕三大支柱：Build（Benchmarking-as-a-Service，集成基准测试服务）；Show（AILuminate风险标签，提供决策友好指标）；Scale（AILuminate全球框架，支持区域和行业定制）。这为风险合规专业人士提供可验证的AI可靠性标准，推动行业成熟。（128字）
MLCommons 为可辩护越狱基准测试奠基
随着大语言模型进入安全、合规关键环境，对抗性提示鲁棒性已成为运营必需。单轮越狱攻击持续暴露系统弱点。MLCommons 推出基于分类法的评估方法，建立可辩护、可复现的基准基础。该方法采用机制优先的单轮提示攻击分类法，确保确定性标注、一一映射和一致覆盖。通过严谨过程构建分类法，提供系统性攻击选择、可复现生成和机制分层评估。未来将扩展覆盖、多模态评估，并邀请社区参与，推动AI安全评估标准化。（128字）
技术标准：AI大规模采用的桥梁
人工智能正从消费级聊天工具转型为驱动企业服务的通用技术，却面临可靠性壁垒。企业需确信AI系统输出正确、安全且可靠，方能广泛部署。克服此挑战依赖评估标准，将ISO/IEC等传统标准与AI的非确定性桥接。MLCommons等组织将这些目标转化为可操作基准，如AILuminate，用于生成AI安全与产品可靠性测试。这确保AI在金融、医疗、制造等高风险场景中可靠运行。历史如NCAP安全测试，推动汽车行业变革。标准化评估将驱动AI进步，建立公众信任，解锁更高价值市场。（128字）
CKAN Croissant：MLCommons AI模型基准新纪元
MLCommons近日发布CKAN Croissant基准，基于Croissant v1.0元数据格式，旨在标准化AI模型评估。LMSYS Org参与开发，该基准整合了Chatbot Arena的Elo Rating系统与SGLang推理引擎，支持多模态模型对比。测试覆盖100+模型，顶级表现者包括GPT-4o（Elo 1300+）和Llama 3.1。关键创新包括自动化模型注册、零样本评估协议及可复现容器化部署，推动开源AI公平竞争。未来将扩展至边缘设备基准。（128字）
MLCommons发布Ailuminate法语数据集
MLCommons组织近日推出Ailuminate基准的法语数据集版本，进一步扩展多语言大语言模型（LLM）评估框架。该数据集涵盖翻译、阅读理解、常识推理等多项任务，总计超过10万条高质量法语样本，由专业标注团队构建，确保文化适应性和准确性。基准测试显示，顶级模型如GPT-4o在法语任务上Elo Rating达1350分，但本土模型仍有优化空间。此举旨在推动法语AI生态发展，促进全球LLM公平评估。（128字）
NASSCOM 加入 MLCommons 联盟，推动印度 AI 基准发展
MLCommons 宣布印度国家软件与服务公司协会（NASSCOM）正式加入其联盟，成为第 50 个成员组织。这一合作将助力印度 AI 生态系统的发展，推动标准化基准测试如 MLPerf 的应用。NASSCOM 代表超过 3000 家成员企业，总营收超 2000 亿美元，将为 MLCommons 带来印度市场洞察，促进全球 AI 创新与公平竞争。未来，双方将聚焦 AI 训练、推理基准等领域，加速印度 AI 基础设施建设。（128 字）
ATX基准专家面板深度解析
MLCommons近日举办的ATX（Agent Testing eXploration）基准专家面板讨论，由LMSYS Org等机构参与，聚焦AI代理评估的新挑战与机遇。面板探讨了从Chatbot Arena等现有基准向代理任务演进的路径，强调多模态、多步推理和工具使用的重要性。专家们分享了Elo Rating在代理场景的局限性，并展望SGLang等框架的潜力。讨论揭示了标准化测试的紧迫性，以及构建可复现代理基准的未来方向。本文详解面板关键观点，为AI从业者提供洞见。（128字）
2025 MLC 新星榜单揭晓
MLCommons 发布了 2025 MLC Rising Stars 榜单，表彰在 MLPerf Inference v5.0 基准测试中使用 MLC（ML Compiler）框架提交结果中表现突出的新兴系统。这些新星系统在多种任务如 LLM 推理、图像生成等领域展现出高效性能，涵盖了 NVIDIA、AMD 等厂商的硬件平台。榜单强调 MLC 在优化模型部署方面的潜力，推动开源编译器在生产级 AI 工作负载中的应用。详细结果显示，某些系统在 Llama 3.1 等模型上实现了高吞吐量和低延迟，标志着 AI 硬件生态的快速发展。（128字）
Ares基准正式发布
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批结果显示，GPT-4o和Claude 3.5 Sonnet位居前列，得分超过1400 Elo。新基准采用SGLang优化，支持高效评估大规模模型，推动AI代理标准化发展。该框架开源，欢迎社区贡献，标志着AI评估进入多模态代理时代。（128字）
Storage 2 检查点机制详解
MLCommons Storage 2 基准聚焦AI训练中的检查点（Checkpointing）存储性能，这是分布式训练中不可或缺的核心环节。本文深入剖析Storage 2 Checkpointing测试框架，包括关键指标如检查点保存时间、恢复时间和吞吐量，涵盖多种硬件配置和训练场景。结果显示，高速NVMe SSD和优化网络在高并发检查点下表现出色，帮助开发者评估存储系统在大型模型训练（如LLM）中的瓶颈。LMSYS Org强调，这一基准将推动存储技术向万亿参数模型时代演进，提供标准化评测工具。（128字）
MLCommons Whisper 推理基准 v5.1 发布
MLCommons 发布了 Whisper Inference v5.1 基准，针对 OpenAI Whisper 系列模型的语音转文本（STT）推理性能进行全面评估。新版本新增 large-v3 模型支持，优化了评估数据集和流程，主要指标包括 RTF（实时因子）和 WER（词错误率）。测试覆盖 CPU（Intel、AMD、Apple Silicon）和 GPU（NVIDIA、AMD）等多种硬件平台。结果显示，NVIDIA H100 GPU 在 RTF 上领先，能效比 RTF@WER20% 达 0.01 以下；Apple M3 在移动端表现出色。基准强调标准化测试，推动 STT 技术进步。完整排行榜详见 MLCommons 官网。（128 字）
MLCommons 小型LLM推理基准5.1发布
MLCommons近日发布了Small LLM Inference基准5.1版本，这是针对1-3B参数小型语言模型推理性能的标准化测试框架。此次更新引入了更多模型和硬件提交，涵盖了Llama 3.2 1B、Phi-3.5-mini等热门SLM。基准测试包括预填充和解码阶段的端到端延迟、吞吐量等指标，在A100、H100等GPU及边缘设备上运行。结果显示，NVIDIA H200在closed轨道中领先，吞吐量提升显著；AMD MI300X紧随其后。开源轨道中，SGLang框架优化突出。该基准推动SLM在边缘部署和高效推理的应用落地。（128字）
Croissant MCP：MLCommons 新一代模型元数据标准
MLCommons 近日发布了 Croissant MCP（Model Card Profile），这是基于 Croissant 格式的创新扩展，旨在标准化 AI 模型的元数据描述。该标准简化了模型卡片的创建与共享，支持自动生成文档、提升可重复性和合规性。Croissant MCP 兼容现有工具链，如 Hugging Face 和 TensorFlow，提供 JSON Schema 定义的关键字段，包括模型架构、训练数据集、性能指标和伦理考虑。通过 MCP，用户可轻松发布结构化模型卡片，推动开源 AI 生态的透明度与协作。未来，MLCommons 将整合更多基准测试，支持动态更新。该发布标志着 AI 标准化迈向新阶段。（128字）
AILuminate越狱基准V05发布：AI模型安全排行大洗牌
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 Sonnet和Llama 3.1 405B在<strong>jailbreak resistance Elo rating</strong>上展开激烈角逐。Claude 3.5 Sonnet以1485分领跑，GPT-4o紧随其后达1472分，而开源模型Gemini 1.5 Pro仅1038分。本版强调多轮对话和SGLang加速推理，揭示了当前LLM安全脆弱性。详细排行和攻击方法剖析，帮助开发者提升模型鲁棒性。（128字）
Flux.1 训练全解析：高效图像生成模型的诞生
MLCommons 发布的《Training Flux.1》报告详解了 Black Forest Labs 的 Flux.1 模型训练过程。该模型采用 12B 参数的 DiT 架构，在海量高质量数据集上训练，支持文本到图像生成，性能媲美 Midjourney 和 DALL·E 3。报告强调了高效的分布式训练策略、LoRA 微调和 FP8 量化技术，训练成本控制在合理范围内。Flux.1 [dev] 和 [schnell] 版本分别针对研究和快速推理优化，在 MS COCO 等基准上表现出色，Elo Rating 高达 1200+。本文改写保留关键数据，为 AI 从业者提供宝贵洞见。（128 字）
训练 Llama 3.1 8B：MLCommons 基准详解
MLCommons 最新发布 Llama 3.1 8B 模型训练基准报告，由 LMSYS Org 贡献。该报告详细记录了使用标准硬件集群训练该 8B 参数模型的全过程，包括数据准备、训练时长、能耗和性能指标。结果显示，在 4090 张 H100 GPU 上，仅需 2.3 天即可完成预训练，FLOPs 利用率高达 52%。模型在下游任务中表现出色，MMLU 分数达 68.4%，凸显高效训练框架的重要性。该基准为开源社区提供宝贵参考，推动 AI 训练标准化。（128 字）
ISO-AUS：MLCommons发布新一代AI推理基准
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模型如GPT-4o在Elo Rating上领先，但开源模型Llama 3.1在SGLang框架下表现出色，资源效率提升30%。该基准强调实际部署中的安全性与可扩展性，为AI行业提供可靠的性能评估标准。未来将定期更新，支持更多硬件平台。（128字）
MedPerf 新增 WebUI 功能，提升隐私保护基准测试体验
MLCommons 旗下开源平台 MedPerf 近日推出 WebUI 支持，用户无需本地安装即可通过浏览器轻松运行隐私保护的机器学习基准测试。新功能集成了 SGLang 等后端，简化了模型评估流程，支持多种任务如图像分类和 NLP。WebUI 提供直观界面，实时显示 Elo Rating 等关键指标，帮助开发者快速比较模型性能。该更新标志着 MedPerf 向更易用方向迈进，助力联邦学习和隐私计算领域发展。（128字）