NVIDIA Cosmos 3新增四个开放模型:单机器人到自动驾驶全覆盖,但96GB显存门槛现实骨感

2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件

2026年11月5日,NVIDIA通过HuggingFace发布四个Cosmos 3 Nano系列的开放权重检查点,将交互式世界仿真能力正式延伸至自动驾驶和机器人两大赛道。四个检查点分别为Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer和Cosmos3-Nano-Sim-Bimanual,每个模型含160亿可训练参数,均采用Linux基金会监管的OpenMDW-1.1许可发布,允许商业与非商业用途,要求附加"Built on NVIDIA Cosmos"署名。

这次发布是Cosmos 3家族自2026年5月31日GTC台北/Computex主体发布以来规模最大的一次扩展。当时NVIDIA首席执行官Jensen Huang在主题演讲中将Cosmos 3定位为"物理AI的开放前沿基础模型",同步发布了Super(640亿参数)和Nano(160亿参数)两个规格的权重,4B参数的Edge版则在同年7月跟进落地。

从"多模型流水线"到"单模型全覆盖"的架构逻辑

要理解这四个新检查点的价值,需要先弄清Cosmos 3的底层架构做了什么。技术分析显示,此前的物理AI系统通常依赖链式调用:一个模型负责场景理解,另一个负责世界生成,第三个负责预测机器人动作——每个接口处都存在集成损耗。Cosmos 3用一个Mixture-of-Transformers双塔架构替代了这条流水线。

两塔的分工是:Reasoner Tower作为自回归视觉语言模型负责理解与推理,Generator Tower作为扩散Transformer负责生成物理感知视频和未来帧,两者共享三维旋转位置嵌入,Generator必须在Reasoner的上下文输出之上运行,推理先于生成是设计上的强制约束。整个系统在约20万亿token的图像、视频、音频和动作数据上训练而成。

11月5日发布的四个检查点都是在Nano基础上针对特定任务后训练的版本,遵循"双向适应→教师强迫→一致性蒸馏→自强迫"四阶段训练方案,该方案着重解决自回归生成中历史误差累积的问题。这意味着开发者收到的不是通用底座,而是已经为目标场景调优、可直接接入仿真流水线的专用模型。

四个检查点,两条产业赛道

从功能划分看,这四个模型清晰地覆盖了两个应用层:

自动驾驶侧,Transfer-Auto负责生成包含不同天气、光照和时段的多视角驾驶数据;Sim-Auto输出同步的摄像头图像与LiDAR点云,可直接接入驾驶仿真器;Sim-Transfer则将仿真器控制信号和文字提示转化为照片级真实视频,解决仿真场景与现实分布之间的域偏移问题。

机器人侧,Sim-Bimanual支持YAM和AgiBot两种双臂机器人体态的交互仿真,可由策略模型控制,也可由人通过手柄实时操作。这个接口设计意味着研究人员可以在不实际部署硬件的情况下采集双臂操作数据,或者用真人遥操作填充边缘场景的训练集。

这类开放、任务专用的世界模型检查点,降低了生成稀有驾驶场景和机器人训练数据的成本,不再需要在现实中逐个采集每种极端工况。这是仿真换真实数据这一逻辑的直接延伸,对自动驾驶团队尤为重要——雪天夜间的突发切入场景可以在仿真中大量生成,而不必等真实路测碰运气。

开放许可背后的硬件现实

Cosmos 3的许可策略是当前大模型生态里相对友好的一档:OpenMDW-1.1允许商业使用和衍生模型,仅要求署名。与Llama系列对商业规模的限制、或部分模型的完全封闭策略相比,这个许可口径确实为初创公司和研究机构留出了空间。

但硬件门槛是另一回事。技术指南显示,Nano(160亿参数)至少需要96GB显存,对应RTX PRO 6000工作站级别或多卡配置;Super(640亿参数)则必须运行在H100、H200或B200数据中心GPU之上。用于嵌入式部署的Edge(40亿参数)对硬件要求更低,面向Jetson设备,但所覆盖的能力也相应收窄。

这意味着"开放权重"的可及性在实践中存在明显分层:学术团队和大型自动驾驶公司的基础设施满足要求,但多数机器人创业公司直接本地推理Nano仍有门槛。云端推理可以绕过显存约束,NVIDIA为此提供了Cosmos NIM微服务接口,支持GPU加速托管调用。

生态聚合与10M下载的信号意义

从发展节奏来看,NVIDIA官方论坛数据表明,Cosmos系列在2026年7月27日已突破10M次下载。在不到8个月的时间里积累这一体量,表明开发者社区对物理AI基础设施的需求确实存在且快速扩大。

NVIDIA同时推进了"Cosmos Coalition",试图将世界模型构建者、AI开发者和物理AI领域的企业整合为生态联盟。Figure AI和Boston Dynamics等机器人公司正在探索将Cosmos 3用于类人机器人和自动驾驶的世界模型训练。这种生态策略与当年CUDA的路径高度相似:用开放工具链构建开发者依赖,再通过硬件拉动整个价值链回流。

NVIDIA此次发布的战略意图清晰:用开放权重扩大生态,用任务专用检查点降低接入成本,用硬件分层引导企业用户向数据中心配置迁移。这是一个结构完整的生态布局,但物理AI的真实价值最终需要在现实工况的机器人和车辆上兑现。