NVIDIA 用 Cosmos 世界基础模型扩展合成数据与物理 AI 推理
NVIDIA 发布博文介绍 Cosmos 世界基础模型,用于扩展合成数据与物理 AI 推理。文章指出人形机器人和自动驾驶等 AI 驱动机器人依赖高保真、物理感知的训练数据,缺乏多样且具代表性的数据集会导致泛化能力差、对真实世界变化接触有限以及边缘情况行为不可预测,而收集大规模真实世界数据集存在困难。
NVIDIA 发布博文介绍 Cosmos 世界基础模型,用于扩展合成数据与物理 AI 推理。文章指出人形机器人和自动驾驶等 AI 驱动机器人依赖高保真、物理感知的训练数据,缺乏多样且具代表性的数据集会导致泛化能力差、对真实世界变化接触有限以及边缘情况行为不可预测,而收集大规模真实世界数据集存在困难。
NVIDIA Warp 用于为 AI 构建加速、可微的计算物理代码,面向从人工驱动转向 AI 驱动的计算机辅助工程(CAE)流程。物理基础模型跨几何与工况泛化,依赖大量高保真、符合物理规律的数据,而近期 CFD 代理模型的缩放律工作表明仿真生成数据在其中起关键作用。
Hugging Face 的 LeRobot 发布 v0.5.0,新增宇树 G1 全身控制(WBC)实现,并将最低 Python 版本要求提升至 3.12。该版本还升级 transformers v5、加入可复现训练的 cudnn_deterministic 选项,并修复数据集转换与异步推理中的多处问题。
Hugging Face 的 LeRobot 发布 v0.4.4,新增 OpenArm 机器人及遥操作器、OpenArm Mini 遥操作器、达妙电机与 CAN 总线、RobStride CAN 实现,并加入 G1 遥操作支持。
NVIDIA 开发者博客介绍 R²D²,一种借助 NVIDIA Isaac Lab 扩展多模态机器人学习的方法。文章指出真实世界采集数据昂贵、缓慢且危险,难以安全训练高速碰撞或硬件故障等风险场景,且真实数据通常偏向正常条件。原文正文在此处截断,未给出 R²D² 的具体方法、数据规模或实验结果。
推荐理由:介绍 R²D² 如何借助 Isaac Lab 在仿真中扩展多模态机器人学习,可了解其应对真实数据采集难题的思路。
Hugging Face 的 LeRobot 发布 v0.4.3,新增 X-VLA 策略和基于 tokenization 的自回归 VLA PiFast,并加入 Unitree G1、OMX、Earth Rover Mini Plus 等机器人支持。
NVIDIA 介绍如何用 Isaac Sim 与 OSMO 构建并编排端到端合成数据生成(SDG)工作流,以应对机器人在动态移动任务中训练策略和模型所需的大规模多样化高质量数据。由于真实世界采集这类数据成本高、耗时长,方案转向在云端规模化生成合成数据。
NVIDIA 发布 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行,需要可扩展、可重复的仿真评测,而大规模评测搭建繁琐且依赖人工,开发者往往要自建高开销的定制基础设施,任务库在复杂度和多样性上也有限。
推荐理由:Isaac Lab-Arena 面向通用机器人策略的仿真评测,读者可了解其如何降低大规模评测的搭建成本。
NVIDIA 发布 Cosmos Cookbook,介绍如何用 Cosmos 开放世界基础模型(WFM)为物理 AI 扩展高保真合成数据生成。该方案针对真实世界数据集采集成本高、耗时长且危险的问题,支持可扩展的合成数据生成与数据增强。
Hugging Face 的 LeRobot 发布 v0.4.2,为 Pi0、Pi0.5 和 SmolVLA 加入实时分块(RTC)支持,并新增环境前后处理器。该版本修复了数据集子集请求时的回合过滤 bug 和 delta_timestamp 问题,数据集编码默认改为并行并支持按视频或图像类型动态调整压缩级别。
Hugging Face 的 LeRobot 发布 v0.4.1,新增 EnvHub 支持从 Hub 加载仿真环境,并将 LIBERO 改为 PyPI 包安装、移除原有安装补丁。该版本还修复了数据集特征修改的关键 bug 和数据访问瓶颈以加快训练,并修正 video_key 拼写及训练中的映射边界情况。
Hugging Face 的 LeRobot 发布 v0.4.0,引入 Dataset v3 与流式数据集,并新增 OpenPi、Pi0、Pi0.5 和 NVIDIA GR00T N1.5 策略支持。该版本还加入 Libero、MetaWorld 仿真环境,支持多 GPU 训练,并新增 Intel XPU 后端。完整变更见 v0.3.3...v0.4.0 变更日志。
推荐理由:LeRobot v0.4.0 的变更清单显示数据集格式与策略支持同步扩展,可据此判断现有训练流程的迁移成本。
NVIDIA 介绍神经机器人动力学 NeRD,用于弥补经典解析动力学在简化接触、省略运动学闭环和不可微模型上的不足。与面向特定任务的神经仿真器不同,NeRD 可作为 Newton 等物理引擎中的即插即用后端,让团队复用现有的策略学习流程。
NVIDIA Research 提出 R²D²,用三项神经突破改进机器人学习,目标是让机器人应对真实世界任务中的不可预测性、灵巧性与精细交互。当前机器人虽在受控环境中表现优异,但从装配精密部件到以类人精度操作日常物体,仍难以胜任真实部署。
NVIDIA Omniverse NuRec 与 3DGUT 可从简单传感器数据重建逼真 3D 场景,并即时部署到 Isaac Sim 或 CARLA Simulator。该方案将真实环境转为交互式仿真不再需要数天或数周,文中给出了真实世界数据采集的操作步骤。
NVIDIA 在 SIGGRAPH 2025 上宣布 Isaac Sim 5.0 和 Isaac Lab 2.2 正式开放,两个机器人仿真与学习框架现已在 GitHub 上提供。Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用,可用于在物理仿真环境中构建、训练和测试 AI 驱动机器人。
推荐理由:Isaac Sim 5.0 与 Isaac Lab 2.2 正式开放,读者可了解仿真与学习框架在 GitHub 上的可用状态。
NVIDIA Research 发布 R²D²,提出用世界基础模型(WFM)与配套工作流提升机器人训练。WFM 是经过训练、可基于真实环境动态模拟、预测并推理未来世界状态的生成式 AI 模型,用于应对物理 AI 系统对丰富标注数据日益增长的需求。文中提到 NVIDIA Cosmos 是相关平台。
Hugging Face 的 LeRobot 发布 v0.3.3,修复了策略构建问题,并引入面向 LeRobot 的通用处理器 pipeline。该版本还更新了安装说明与文档链接、修正作者姓名拼写,并将 torch 包版本改为向上取整约束。
NVIDIA 提出一种在机器人场景中构建数字孪生的方法,利用 NVIDIA Warp 与高斯泼溅让孪生体与真实世界实时持续同步。该孪生体可提供丰富的状态信息,用于支撑和增强相关能力。