GPT-o3知识工作暴跌12分：逻辑推理能力疑似退化
本周GPT-o3在知识工作维度出现罕见的断崖式下跌，从82.4分骤降至70.3分，降幅达14.7%。这一异常变化主要集中在逻辑推理和翻译任务上，值得深入分析。核心问题：逻辑推理能力显著退化最严重的失分项是"排班冲突"题目，得分从满分100直接跌至10分。该题要求根据5个员工的时间限制安排一周...
AI测评
真机实测，数据说话。我们用严谨的方法论评测AI大模型、智能硬件与前沿技术，只为给你最客观的参考。
🏠 本站权威测评
LMSYS Chatbot Arena
MLCommons
Ars Technica
GPT-o3性能断崖式下跌：知识工作能力骤降12.1分背后的技术隐患
本周GPT-o3在知识工作维度出现严重性能退化，得分从82.4分骤降至70.3分，降幅达12.1分。这一异常表现集中体现在逻辑推理和语言理解两个核心能力上，引发了对模型稳定性的深度担忧。 逻辑推理能力严重退化 最典型的案例是"排班冲突"题目，GPT-o3的得分从满分100直接跌至10分。...
全球标准，本地真实：亚太多语言多模态AI安全基准试点
AI作为当今采用速度最快的通用技术，其全球普及却存在显著差距，反映出数字鸿沟。MLCommons推出AILuminate Culturally-Specific Multimodal Benchmark，针对亚太地区开发文化特定的多语言多模态数据集，揭示模型在全球南方语境下的性能短板。文章强调文化特定风险评估，避免简单二元标签，转而鼓励本地专家定义适当响应，如中国送钟禁忌。多模态场景如识别本地物品图像尤为关键。目前数据集已含7000+文本+图像提示，覆盖新加坡、印度、韩国等地，计划2026年夏季发布。全球伙伴合作确保基准接地气，推动AI安全公平性。（128字）
MLPerf Inference v6.0 Edge 套件升级至 YOLO11
MLPerf Inference 基准已成为评估 AI 基础设施性能的行业标准。本次 v6.0 Edge 套件将 RetinaNet 升级为 Ultralytics YOLO11，这款现代化的单阶段目标检测模型在 COCO 数据集上 mAP 达 53.4%，参数仅 2530 万，支持多种计算精度权衡。任务组选择了 YOLO11l 变体，并开发了合规的 COCO MLPerf 子集（80 类、1525 张图像、52 MB），确保基准合法分发。同时优化 LoadGen 集成，解决类别映射、坐标归一化和序列化问题，实现与 Ultralytics 参考一致的准确率。该升级反映 AI 目标检测领域的最新趋势，推动硬件优化。（128 字）
将 Text-to-Video 引入 MLPerf Inference v6.0
MLPerf Inference v6.0 基准套件首次引入文本到视频（Text-to-Video）任务，标志着视频生成模型从实验性工具向专业工作流的核心转型。任务组选用阿里巴巴开源的 Wan2.2-T2V-A14B-Diffusers 模型，该模型采用独特的专家混合架构，通过高噪声和低噪声专家顺序激活生成高质量视频。基准限制视频时长为5秒、720p分辨率、16fps，数据集基于 VBench 精简至248样本，使用 SingleStream 场景测量延迟。VBench 提供16维质量评估，精选6关键指标确保准确性和公平性。参考实现基于 Hugging Face Diffusers，在 BF16 精度下准确率达70.48。该基准为消费者决策和厂商优化提供标准化参考。
MedPerf 集成 Apache Airflow，提升联邦临床研究数据准备体验
MLCommons 医疗工作组通过 MedPerf 开源平台推进医疗 AI/ML 模型的真实世界基准测试与评估。最新集成 Apache Airflow，大幅简化联邦临床研究中的数据准备管道的分发、编排与监控。针对以往单容器方法带来的错误、调试难题及可扩展性不足等问题，新方案将多个容器串联成工作流，支持模块化复用、WebUI 监控与错误恢复。非技术用户只需 YAML 文件即可构建管道，自动转换为 Airflow DAG。FL-PoST 研究已投入生产，保障数据隐私并提升协作效率。欢迎社区探索与贡献。
SGLang 日零支持 NVIDIA Nemotron 3 Super，赋能高效多代理系统
SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3 Super，这是 Nemotron 3 系列领先的开源模型，专为多代理协作设计。Nemotron 3 Super 采用 120B 参数混合 MoE 架构，每前向传播仅激活 12B 参数，在编码、工具调用和指令遵循上表现出色，支持 1M 上下文长度。Artificial Analysis 图表显示其在智能与开放性上领先同类模型。文章详解安装 SGLang 并部署模型，支持多代理推理工作负载，如规划、推理和工具链。提供 Hugging Face 下载链接、SGLang Cookbook 和技术报告，助力开发者构建可扩展、高效的多代理 AI 系统。
SGLang在NVIDIA GB300 NVL72上实现25倍推理性能飞跃
SGLang团队与NVIDIA紧密合作，在多代GPU上为大规模MoE推理模型部署带来阶跃式性能提升。继Blackwell B200对比Hopper H200实现4倍加速后，现扩展至Blackwell Ultra的GB300 NVL72，在InferenceXv2基准上较H200提升高达25倍。同时，GB200 NVL72性能在4个月内提升8倍。这些成果源于软硬件协同优化，显著降低延迟、提升吞吐量并减少每token成本。未来将进一步支持MTP、多模型调优及Vera Rubin系统，推动前沿推理模型部署成本降低。（128字）
GB300 NVL72部署DeepSeek：长上下文推理大幅提升
Blackwell家族最新成员GB300 NVL72成为长上下文LLM推理最强平台。本文分享优化DeepSeek R1-NVFP4在128K/8K ISL/OSL长上下文服务上的最新进展，采用prefill–decode disaggregation (PD)、chunked pipeline parallelism (PP)、wide expert parallelism (Wide-EP)、multi-token prediction (MTP)等技术。在长上下文负载下，SGLang在GB300 NVL72上实现最高226 TPS/GPU（较GB200提升1.53X），MTP进一步提升用户吞吐量1.87X。与GB200同等延迟条件下，GB300 TPS/GPU提升1.4X–1.6X。亮点包括EP解码扩展、PP预填充优化及更快注意力内核。复现指南见GitHub issue:18703。（128字）
AI风险新标准：AILuminate全球保障计划重塑可靠性
人工智能行业正处于转折点，企业将AI从实验阶段推向金融、医疗和制造等关键业务时，可靠性验证成为核心障碍。MLCommons联盟（包括KPMG、Google、Microsoft和Qualcomm）推出AILuminate全球保障计划（AIL GAP），通过数据驱动机制桥接高层标准与实际技术性能差距。该计划围绕三大支柱：Build（Benchmarking-as-a-Service，集成基准测试服务）；Show（AILuminate风险标签，提供决策友好指标）；Scale（AILuminate全球框架，支持区域和行业定制）。这为风险合规专业人士提供可验证的AI可靠性标准，推动行业成熟。（128字）
SGLang-Diffusion：生产级视频生成的高级优化
继两月进展更新后，SGLang-Diffusion团队深入剖析了多项高级优化，使其成为可靠的生产级视频生成框架。这些优化聚焦可扩展性、效率与稳定性，针对扩散模型大规模部署的关键瓶颈。核心改进包括：从帧级到Token级SP-Sharding减少填充开销；Parallel Folding解耦文本编码器与DiT并行策略；分布式VAE并行编码/解码消除高分辨率内存瓶颈；修复Cache-DiT多请求稳定性问题；优化视频保存去除序列化开销；融合CuTeDSL JIT内核提升LayerNorm效率。性能测试显示，在Wan2.2 T2V任务中显著超越LightX2V。未来将继续推进2026Q1路线图。（128字）
MLCommons 为可辩护越狱基准测试奠基
随着大语言模型进入安全、合规关键环境，对抗性提示鲁棒性已成为运营必需。单轮越狱攻击持续暴露系统弱点。MLCommons 推出基于分类法的评估方法，建立可辩护、可复现的基准基础。该方法采用机制优先的单轮提示攻击分类法，确保确定性标注、一一映射和一致覆盖。通过严谨过程构建分类法，提供系统性攻击选择、可复现生成和机制分层评估。未来将扩展覆盖、多模态评估，并邀请社区参与，推动AI安全评估标准化。（128字）