NVIDIA 在 CVPR 发布物理 AI agent skills,覆盖自动驾驶、机器人与视觉 AI
NVIDIA 在 CVPR 发布面向物理 AI 研究的 agent skills,帮助研究者自动化自动驾驶、机器人和视觉 AI 的开发流程。
推荐理由:NVIDIA 在 CVPR 发布面向物理 AI 的 agent skills,读者可了解其覆盖自动驾驶、视觉 AI 与机器人学习的工具链与开放入口。
追踪仿真与迁移的研究、可复用工程方法与真实部署证据。
NVIDIA 在 CVPR 发布面向物理 AI 研究的 agent skills,帮助研究者自动化自动驾驶、机器人和视觉 AI 的开发流程。
推荐理由:NVIDIA 在 CVPR 发布面向物理 AI 的 agent skills,读者可了解其覆盖自动驾驶、视觉 AI 与机器人学习的工具链与开放入口。
Isaac Lab 3.0 Beta 发布,基于 Isaac Sim 6.0 做架构重构,引入多后端物理、可插拔渲染器与 Warp 原生数据管线。新增 isaaclab_newton 扩展支持 MuJoCo-Warp 求解器与无 Kit 模式,并给出四元数 XYZW 顺序、.data.* 返回 wp.array 等破坏性变更及迁移工具。
推荐理由:Isaac Lab 3.0 Beta 的架构改动与迁移工具清单,可帮助现有用户评估升级成本与后端切换路径。
NVIDIA 发布 Project Rheo 蓝图,开发者可在 Isaac Sim / Isaac Lab 中搭建智能医院数字孪生,训练医院自动化机器人系统。
推荐理由:原文给出 Project Rheo 从数字孪生搭建、示范采集到合成数据与策略训练的完整命令流程,可据此复现医院自动化训练管线。
NVIDIA 博客介绍 GPU 加速的开源仿真器 Newton 1.0 GA,为工业机器人新增接触密集操作与行走能力。文章指出,运动与操作任务需要仿真器处理接触力、可变形物体等复杂动力学,多数引擎在速度与真实感之间取舍,而 Newton 的设计目标是兼顾两者。
推荐理由:Newton 1.0 GA 面向工业机器人补充接触密集操作与行走能力,读者可了解其仿真定位与开源进展。
NVIDIA 开发者博客介绍 R²D²,一种借助 NVIDIA Isaac Lab 扩展多模态机器人学习的方法。文章指出真实世界采集数据昂贵、缓慢且危险,难以安全训练高速碰撞或硬件故障等风险场景,且真实数据通常偏向正常条件。原文正文在此处截断,未给出 R²D² 的具体方法、数据规模或实验结果。
推荐理由:介绍 R²D² 如何借助 Isaac Lab 在仿真中扩展多模态机器人学习,可了解其应对真实数据采集难题的思路。
NVIDIA 发布 Isaac GR00T N1.6,用于构建人形机器人的通用能力,覆盖感知、规划与全身控制。该工作流将仿真、控制与学习统一起来,让机器人在进入真实世界前先习得复杂技能。
推荐理由:NVIDIA 官方给出 GR00T N1.6 的仿真到真实工作流,读者可了解人形机器人通用能力训练如何统一仿真、控制与学习。
NVIDIA 发布 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行,需要可扩展、可重复的仿真评测,而大规模评测搭建繁琐且依赖人工,开发者往往要自建高开销的定制基础设施,任务库在复杂度和多样性上也有限。
推荐理由:Isaac Lab-Arena 面向通用机器人策略的仿真评测,读者可了解其如何降低大规模评测的搭建成本。
Hugging Face 的 LeRobot 发布 v0.4.0,引入 Dataset v3 与流式数据集,并新增 OpenPi、Pi0、Pi0.5 和 NVIDIA GR00T N1.5 策略支持。该版本还加入 Libero、MetaWorld 仿真环境,支持多 GPU 训练,并新增 Intel XPU 后端。完整变更见 v0.3.3...v0.4.0 变更日志。
推荐理由:LeRobot v0.4.0 的变更清单显示数据集格式与策略支持同步扩展,可据此判断现有训练流程的迁移成本。
NVIDIA 发布教程,介绍如何借助 Omniverse NuRec,仅用智能手机完成机器人仿真场景重建。流程从用 iPhone 拍摄照片开始,经 3DGUT 重建三维场景,再加载进 NVIDIA Isaac Sim 并插入机器人。
推荐理由:原文给出用手机照片重建仿真场景并接入 Isaac Sim 的完整流程,可迁移到机器人仿真环境搭建。
NVIDIA Isaac Lab 2.3 正式发布(generally available),新增全身控制与增强遥操作,用于提升人形机器人能力。官方称从真实世界示范训练机器人策略成本高、速度慢且易过拟合,仿真优先的方法可降低风险与成本,并支持更安全、适应性更强的部署。
推荐理由:Isaac Lab 2.3 正式版带来全身控制与增强遥操作,读者可据此评估仿真优先的机器人学习流程。
NVIDIA 在 SIGGRAPH 2025 上宣布 Isaac Sim 5.0 和 Isaac Lab 2.2 正式开放,两个机器人仿真与学习框架现已在 GitHub 上提供。Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用,可用于在物理仿真环境中构建、训练和测试 AI 驱动机器人。
推荐理由:Isaac Sim 5.0 与 Isaac Lab 2.2 正式开放,读者可了解仿真与学习框架在 GitHub 上的可用状态。