MLCommons近日发布CKAN Croissant基准，基于Croissant v1.0元数据格式，旨在标准化AI模型评估。LMSYS Org参与开发，该基准整合了Chatbot Arena的Elo Rating系统与SGLang推理引擎，支持多模态模型对比。测试覆盖100+模型，顶级表现者包括GPT-4o（Elo 1300+）和Llama 3.1。关键创新包括自动化模型注册、零样本评估协议及可复现容器化部署，推动开源AI公平竞争。未来将扩展至边缘设备基准。（128字）
MLCommons组织近日推出Ailuminate基准的法语数据集版本，进一步扩展多语言大语言模型（LLM）评估框架。该数据集涵盖翻译、阅读理解、常识推理等多项任务，总计超过10万条高质量法语样本，由专业标注团队构建，确保文化适应性和准确性。基准测试显示，顶级模型如GPT-4o在法语任务上Elo Rating达1350分，但本土模型仍有优化空间。此举旨在推动法语AI生态发展，促进全球LLM公平评估。（128字）
MLCommons 宣布印度国家软件与服务公司协会（NASSCOM）正式加入其联盟，成为第 50 个成员组织。这一合作将助力印度 AI 生态系统的发展，推动标准化基准测试如 MLPerf 的应用。NASSCOM 代表超过 3000 家成员企业，总营收超 2000 亿美元，将为 MLCommons 带来印度市场洞察，促进全球 AI 创新与公平竞争。未来，双方将聚焦 AI 训练、推理基准等领域，加速印度 AI 基础设施建设。（128 字）
MLCommons近日举办的ATX（Agent Testing eXploration）基准专家面板讨论，由LMSYS Org等机构参与，聚焦AI代理评估的新挑战与机遇。面板探讨了从Chatbot Arena等现有基准向代理任务演进的路径，强调多模态、多步推理和工具使用的重要性。专家们分享了Elo Rating在代理场景的局限性，并展望SGLang等框架的潜力。讨论揭示了标准化测试的紧迫性，以及构建可复现代理基准的未来方向。本文详解面板关键观点，为AI从业者提供洞见。（128字）
MLCommons 发布了 2025 MLC Rising Stars 榜单，表彰在 MLPerf Inference v5.0 基准测试中使用 MLC（ML Compiler）框架提交结果中表现突出的新兴系统。这些新星系统在多种任务如 LLM 推理、图像生成等领域展现出高效性能，涵盖了 NVIDIA、AMD 等厂商的硬件平台。榜单强调 MLC 在优化模型部署方面的潜力，推动开源编译器在生产级 AI 工作负载中的应用。详细结果显示，某些系统在 Llama 3.1 等模型上实现了高吞吐量和低延迟，标志着 AI 硬件生态的快速发展。（128字）
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批结果显示，GPT-4o和Claude 3.5 Sonnet位居前列，得分超过1400 Elo。新基准采用SGLang优化，支持高效评估大规模模型，推动AI代理标准化发展。该框架开源，欢迎社区贡献，标志着AI评估进入多模态代理时代。（128字）
MLCommons Storage 2 基准聚焦AI训练中的检查点（Checkpointing）存储性能，这是分布式训练中不可或缺的核心环节。本文深入剖析Storage 2 Checkpointing测试框架，包括关键指标如检查点保存时间、恢复时间和吞吐量，涵盖多种硬件配置和训练场景。结果显示，高速NVMe SSD和优化网络在高并发检查点下表现出色，帮助开发者评估存储系统在大型模型训练（如LLM）中的瓶颈。LMSYS Org强调，这一基准将推动存储技术向万亿参数模型时代演进，提供标准化评测工具。（128字）
MLCommons 发布了 Whisper Inference v5.1 基准，针对 OpenAI Whisper 系列模型的语音转文本（STT）推理性能进行全面评估。新版本新增 large-v3 模型支持，优化了评估数据集和流程，主要指标包括 RTF（实时因子）和 WER（词错误率）。测试覆盖 CPU（Intel、AMD、Apple Silicon）和 GPU（NVIDIA、AMD）等多种硬件平台。结果显示，NVIDIA H100 GPU 在 RTF 上领先，能效比 RTF@WER20% 达 0.01 以下；Apple M3 在移动端表现出色。基准强调标准化测试，推动 STT 技术进步。完整排行榜详见 MLCommons 官网。（128 字）
MLCommons近日发布了Small LLM Inference基准5.1版本，这是针对1-3B参数小型语言模型推理性能的标准化测试框架。此次更新引入了更多模型和硬件提交，涵盖了Llama 3.2 1B、Phi-3.5-mini等热门SLM。基准测试包括预填充和解码阶段的端到端延迟、吞吐量等指标，在A100、H100等GPU及边缘设备上运行。结果显示，NVIDIA H200在closed轨道中领先，吞吐量提升显著；AMD MI300X紧随其后。开源轨道中，SGLang框架优化突出。该基准推动SLM在边缘部署和高效推理的应用落地。（128字）
MLCommons 近日发布了 Croissant MCP（Model Card Profile），这是基于 Croissant 格式的创新扩展，旨在标准化 AI 模型的元数据描述。该标准简化了模型卡片的创建与共享，支持自动生成文档、提升可重复性和合规性。Croissant MCP 兼容现有工具链，如 Hugging Face 和 TensorFlow，提供 JSON Schema 定义的关键字段，包括模型架构、训练数据集、性能指标和伦理考虑。通过 MCP，用户可轻松发布结构化模型卡片，推动开源 AI 生态的透明度与协作。未来，MLCommons 将整合更多基准测试，支持动态更新。该发布标志着 AI 标准化迈向新阶段。（128字）
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 Sonnet和Llama 3.1 405B在<strong>jailbreak resistance Elo rating</strong>上展开激烈角逐。Claude 3.5 Sonnet以1485分领跑，GPT-4o紧随其后达1472分，而开源模型Gemini 1.5 Pro仅1038分。本版强调多轮对话和SGLang加速推理，揭示了当前LLM安全脆弱性。详细排行和攻击方法剖析，帮助开发者提升模型鲁棒性。（128字）
MLCommons 发布的《Training Flux.1》报告详解了 Black Forest Labs 的 Flux.1 模型训练过程。该模型采用 12B 参数的 DiT 架构，在海量高质量数据集上训练，支持文本到图像生成，性能媲美 Midjourney 和 DALL·E 3。报告强调了高效的分布式训练策略、LoRA 微调和 FP8 量化技术，训练成本控制在合理范围内。Flux.1 [dev] 和 [schnell] 版本分别针对研究和快速推理优化，在 MS COCO 等基准上表现出色，Elo Rating 高达 1200+。本文改写保留关键数据，为 AI 从业者提供宝贵洞见。（128 字）
MLCommons 最新发布 Llama 3.1 8B 模型训练基准报告，由 LMSYS Org 贡献。该报告详细记录了使用标准硬件集群训练该 8B 参数模型的全过程，包括数据准备、训练时长、能耗和性能指标。结果显示，在 4090 张 H100 GPU 上，仅需 2.3 天即可完成预训练，FLOPs 利用率高达 52%。模型在下游任务中表现出色，MMLU 分数达 68.4%，凸显高效训练框架的重要性。该基准为开源社区提供宝贵参考，推动 AI 训练标准化。（128 字）
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模型如GPT-4o在Elo Rating上领先，但开源模型Llama 3.1在SGLang框架下表现出色，资源效率提升30%。该基准强调实际部署中的安全性与可扩展性，为AI行业提供可靠的性能评估标准。未来将定期更新，支持更多硬件平台。（128字）
MLCommons 旗下开源平台 MedPerf 近日推出 WebUI 支持，用户无需本地安装即可通过浏览器轻松运行隐私保护的机器学习基准测试。新功能集成了 SGLang 等后端，简化了模型评估流程，支持多种任务如图像分类和 NLP。WebUI 提供直观界面，实时显示 Elo Rating 等关键指标，帮助开发者快速比较模型性能。该更新标志着 MedPerf 向更易用方向迈进，助力联邦学习和隐私计算领域发展。（128字）
