NVIDIA Isaac Sim 与 World Labs Marble 加速机器人环境仿真
NVIDIA 将开源机器人参考框架 Isaac Sim 与 World Labs 的生成模型 Marble 结合,可从文本提示直接生成照片级、可直接用于仿真的 3D 世界,替代以往需数周手工建模的流程。该方案面向机器人仿真环境构建,原文未披露具体版本号、成功率或性能数据。
NVIDIA 将开源机器人参考框架 Isaac Sim 与 World Labs 的生成模型 Marble 结合,可从文本提示直接生成照片级、可直接用于仿真的 3D 世界,替代以往需数周手工建模的流程。该方案面向机器人仿真环境构建,原文未披露具体版本号、成功率或性能数据。
NVIDIA 提出 R²D²,利用仿真与语言模型改进机器人操作,以应对真实动态环境中物体、光照和接触动力学变化带来的挑战。该方法针对仿真到现实的差距以及夹爪或工具未优化的问题,目标是提升机器人泛化能力、长时序任务执行与跨任务灵巧操作水平。
NVIDIA 发布 Cosmos Cookbook,介绍如何用 Cosmos 开放世界基础模型(WFM)为物理 AI 扩展高保真合成数据生成。该方案针对真实世界数据集采集成本高、耗时长且危险的问题,支持可扩展的合成数据生成与数据增强。
Hugging Face 的 LeRobot 发布 v0.4.1,新增 EnvHub 支持从 Hub 加载仿真环境,并将 LIBERO 改为 PyPI 包安装、移除原有安装补丁。该版本还修复了数据集特征修改的关键 bug 和数据访问瓶颈以加快训练,并修正 video_key 拼写及训练中的映射边界情况。
Hugging Face 的 LeRobot 发布 v0.4.0,引入 Dataset v3 与流式数据集,并新增 OpenPi、Pi0、Pi0.5 和 NVIDIA GR00T N1.5 策略支持。该版本还加入 Libero、MetaWorld 仿真环境,支持多 GPU 训练,并新增 Intel XPU 后端。完整变更见 v0.3.3...v0.4.0 变更日志。
推荐理由:LeRobot v0.4.0 的变更清单显示数据集格式与策略支持同步扩展,可据此判断现有训练流程的迁移成本。
NVIDIA 发布教程,介绍如何借助 Omniverse NuRec,仅用智能手机完成机器人仿真场景重建。流程从用 iPhone 拍摄照片开始,经 3DGUT 重建三维场景,再加载进 NVIDIA Isaac Sim 并插入机器人。
推荐理由:原文给出用手机照片重建仿真场景并接入 Isaac Sim 的完整流程,可迁移到机器人仿真环境搭建。
NVIDIA Isaac Lab 2.3 正式发布(generally available),新增全身控制与增强遥操作,用于提升人形机器人能力。官方称从真实世界示范训练机器人策略成本高、速度慢且易过拟合,仿真优先的方法可降低风险与成本,并支持更安全、适应性更强的部署。
推荐理由:Isaac Lab 2.3 正式版带来全身控制与增强遥操作,读者可据此评估仿真优先的机器人学习流程。
NVIDIA 发布教程,介绍如何用 Isaac Lab 和 Newton 训练四足机器人运动策略,并仿真布料操作。内容围绕机器人仿真中的物理基础展开,面向研究人员和工程师,用于在安全、加速且低成本的环境中训练、开发、测试和验证机器人控制算法与原型设计。
NVIDIA 介绍三种用 OpenUSD 加速机器人开发工作流的方法。OpenUSD 是用于构建机器人学习虚拟世界的开放标准,可支撑大规模物理精确仿真,以应对机器人开发对仿真的需求增长。
NVIDIA 介绍神经机器人动力学 NeRD,用于弥补经典解析动力学在简化接触、省略运动学闭环和不可微模型上的不足。与面向特定任务的神经仿真器不同,NeRD 可作为 Newton 等物理引擎中的即插即用后端,让团队复用现有的策略学习流程。
NVIDIA 发布 Warp 1.9,新增全可微 wp.MarchingCubes 实现,完全用 Warp 编写并可在 CPU 和 GPU 上运行,同时修复了长期存在的 off-by-one 缺陷。
NVIDIA 发布 Isaac for Healthcare 远程手术工作流入门指南,面向远程手术场景。该工作流针对全球外科医生短缺问题——预计 2030 年缺口达 450 万,农村医院难以获得专科医生,远程手术正从实验走向必需。
NVIDIA Omniverse NuRec 与 3DGUT 可从简单传感器数据重建逼真 3D 场景,并即时部署到 Isaac Sim 或 CARLA Simulator。该方案将真实环境转为交互式仿真不再需要数天或数周,文中给出了真实世界数据采集的操作步骤。
NVIDIA 在 SIGGRAPH 2025 上宣布 Isaac Sim 5.0 和 Isaac Lab 2.2 正式开放,两个机器人仿真与学习框架现已在 GitHub 上提供。Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用,可用于在物理仿真环境中构建、训练和测试 AI 驱动机器人。
推荐理由:Isaac Sim 5.0 与 Isaac Lab 2.2 正式开放,读者可了解仿真与学习框架在 GitHub 上的可用状态。
NVIDIA 在 SIGGRAPH 宣布更新 Omniverse 库和 Cosmos 世界基础模型,基于 OpenUSD 为开发者提供新的库、模型和开发工具,用于构建物理精确的虚拟环境及理解真实世界的 AI 智能体。开发者还可通过 NVIDIA Cosmos Cookbook 获取分步工作流与技术配方。
NVIDIA 提出一种在机器人场景中构建数字孪生的方法,利用 NVIDIA Warp 与高斯泼溅让孪生体与真实世界实时持续同步。该孪生体可提供丰富的状态信息,用于支撑和增强相关能力。
NVIDIA 推出 Isaac for Healthcare,面向医疗机器人开发提供 AI 加速平台。WHO 预计到 2030 年全球医护人员缺口超 1500 万,美国到 2034 年医生缺口或达 12.4 万,AI 机器人被视为应对路径。
Open Robotics 公布 2025 年 Google Summer of Code 阵容,共 9 名学生参与 ROS、Gazebo、Open-RMF 等五个开源项目,规模为历年最大。
Open Robotics 参与 Google Summer of Code 2024,五位贡献者分三个项目改进 Gazebo。其中三人将物理多波束声呐仿真插件迁移至 ROS 2 与 Gazebo Harmonic,并计划用 CUDA 半精度计算提升刷新率、扩展侧扫与机械扫描声呐支持;另两人分别改进 Gazebo 安装体验和物理引擎基准测试世界集。