赢政资讯 — 今天 AI 世界发生了什么

MLCommons 更新使命:标准化 AI 测量 赋能明智决策

MLCommons 宣布更新使命,核心聚焦于标准化 AI 测量并支持各方做出明智决策。八年来 AI 行业快速发展,测量是解锁 AI 潜力的基础,能帮助表征系统行为、评估功耗与性能。组织将通过工业级基准测试、协议及测试套件,提供速度、功耗、可靠性等关键指标,服务学术界、厂商、部署者与政策制定者。未来将优化网站、推广基准、支持效率权衡、扩大社区并拓展医疗金融等领域,持续演进以应对技术进步。

MLC MLCommons AI基准测试
0

MLPerf Endpoints:为何成为买家选购AI推理系统的关键基准

MLPerf Endpoints是MLCommons推出的新型推理基准,专注于评估生产环境下的真实端点性能。它不再孤立测试硬件,而是将模型、硬件、 serving软件和网络整合,在真实负载下测量系统表现。该基准提供完整的Pareto前沿曲线,涵盖并发、首Token延迟P90、系统吞吐量、每瓦吞吐及用户交互性等五大核心指标。相比传统MLPerf Inference,Endpoints更贴近企业实际采购需求,支持滚动提交和快速更新,帮助买家根据工作负载选择最优配置,降低部署风险并优化TCO。结果分为已验证、临时和未验证三类,确保透明可信。

MLC MLPerf Endpoints AI推理基准
0

MLCommons 获 NSF 资助 打造 MLPerf Agents 代理 AI 基准

MLCommons 被选为 STRIDE Ventures AI Efficiency Challenge 的基准团队,获得美国国家科学基金会 350 万美元两年资助,将开发全新 MLPerf Agents 基准。该基准聚焦代理 AI 系统从目标委托到验证结果的完整工作流,测量成功任务的成本、能耗、延迟与吞吐量。MLPerf Agents 将覆盖软件工程、数据分析和客户服务等场景,提供全栈可比结果与可信验证,帮助开发者和买家优化效率。

MLC MLPerf Agents AI基准
0

SGLang 为 NVIDIA Nemotron 3.5 Super VL 提供零日支持

NVIDIA Nemotron 3.5 Super VL 是一款开放多模态模型,专为文本、图像、文档和视频输入设计,支持代理推理与工具使用。该模型采用1200亿参数混合专家架构,每次激活120亿参数,结合C-RADIOv4视觉编码、Mamba-Transformer混合架构、多令牌预测及NVFP4量化等优化。SGLang提供高性能服务支持,包括连续批处理、前缀复用和投机解码,可在单卡RTX 6000 PRO上实现243.9 tok/s速度。模型在Artificial Analysis Intelligence Index上展现5倍速度优势,并在SWE-bench Pro任务中完成时间缩短4倍,适合企业级长时程多模态代理工作流。

LMSYS SGLang NVIDIA Nemotron
0

SGLang 为 Muse Spark Open 提供首日支持

Muse Spark Open 是一款 816B 参数的开放权重多模态 MoE 模型,激活参数约 42B,支持文本、图像、视频和音频输入及 1M token 上下文。SGLang 与 Miles 团队实现 Day-0 支持,通过序列并行、NVFP4 MegaMoE、DFlash V2 推测解码等优化,在 8 张 B300 GPU 上实现每 GPU 14.8K tokens/s 的高吞吐,同时显著降低 TTFT。文章详细介绍架构、内核优化及多模态预处理方案。

LMSYS SGLang Muse Spark Open
0

SGLang 赋能 Beam 模型生产级部署

Reflection 推出的 Beam 是一款 501B 参数的 MoE 模型,每 token 激活 23B 参数,专为软件工程和长时程智能体任务设计。SGLang 原生支持 Beam 并驱动其生产 API,提供 BF16、NVFP4、动态 FP8 等多精度支持,以及 DFlash2 推测解码、混合注意力缓存等优化特性。在 4 张 NVIDIA GB300 GPU 上,NVFP4 版本的 OpenHands 多轮智能体编码任务吞吐达每 GPU 127.6K tokens/sec,p50 交互性达 185.87 tokens/sec。本文详解集成细节、内核优化与实测性能,助力开发者快速部署。

LMSYS SGLang MoE模型
0

SGLang 低延迟模式:内核与运行时优化

SGLang 推出低延迟模式,通过插件框架集成 NVIDIA 和 AMD 专用内核,实现小批量场景下的显著延迟降低。在 AgentX 回放测试中,四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提升至 928.4 tokens/s(1.38×);四张 AMD MI355X GPU 上四并发场景提升 1.56×。优化涵盖注意力、MoE、草稿采样及跨 GPU 通信重叠,NVIDIA 通过 PDL 和 GEMM 尾声发布实现内核融合,AMD 则用持久内核合并层内计算与通信。该模式支持 DeepSeek-V4.1-Flash 等模型,未来将扩展更多硬件与工作负载。

LMSYS SGLang 低延迟推理
0

SGLang-TorchTPU:TPU上的PyTorch原生生产级服务

SGLang-TorchTPU今日正式开源,由RadixArk团队与Google、Meta合作推出。该插件将SGLang完整功能集带到Google Cloud TPU,支持Muse Spark Open、GLM-5.3、DeepSeek V4等模型,已在Meta大规模生产验证。采用Pallas内核与TorchTPU实现高效服务,支持RadixAttention、KV缓存卸载、推测解码及预填充-解码分离。RL训练可与TorchTitan和Miles框架结合,实现端到端强化学习流程。CI每晚在TPU v7x上运行193项测试,确保可靠性和性能。贡献者可申请免费TPU算力。

LMSYS SGLang TPU
0
MIT

中风康复新解法:AI机器人补位治疗师缺口

全球每年约500万中风患者留下长期功能障碍,而物理治疗师持续短缺让康复护理供不应求。MIT Technology Review报道,前MIT博士后、现助理教授Johannes Lachner提出将人工智能与人类治疗相结合的新路径:让机器人承担重复性训练与实时数据分析,让治疗师专注评估与决策。这一人机协作模式有望为中风康复提供可规模化的解决方案。

AI医疗 中风康复 机器人疗法
38
MIT

一张中国茶箱标签,牵出波士顿倾茶往事

麻省理工学院历史学副教授特里斯坦·布朗在波士顿老南聚会所看到一张中国茶箱标签,捐赠者称它来自1773年波士顿倾茶事件中被倒入港口的茶箱。这件看似证据确凿的藏品,让历史学者重新审视物件、家族记忆与宏大叙事之间的关系,也把18世纪中美茶叶贸易的隐秘链条带回公众视野。

波士顿倾茶事件 中国茶叶贸易 历史文物鉴定
29

美国国土安全部封禁 DeepSeek:一道悄然执行三个月的禁令

美国国土安全部于2026年7月24日签署禁令,要求所有联邦民用机构立即清除DeepSeek产品——包括任何基于DeepSeek实现的第三方软件。该禁令直到10月19日才公开发布在《联邦公报》上,意味着已静默执行近三个月。禁令援引2018年联邦采购供应链安全法,延续了对卡巴斯基、华为的相同打击路径,但其将"模型血统"纳入管控范围的做法,标志着美国联邦AI安全审查逻辑的一次实质性升级。

DeepSeek 美国监管 AI安全
57