如何仅用智能手机在 NVIDIA Isaac Sim 中重建场景
NVIDIA 发布教程,介绍如何借助 Omniverse NuRec,仅用智能手机完成机器人仿真场景重建。流程从用 iPhone 拍摄照片开始,经 3DGUT 重建三维场景,再加载进 NVIDIA Isaac Sim 并插入机器人。
推荐理由:原文给出用手机照片重建仿真场景并接入 Isaac Sim 的完整流程,可迁移到机器人仿真环境搭建。
追踪仿真与迁移的研究、可复用工程方法与真实部署证据。
NVIDIA 发布教程,介绍如何借助 Omniverse NuRec,仅用智能手机完成机器人仿真场景重建。流程从用 iPhone 拍摄照片开始,经 3DGUT 重建三维场景,再加载进 NVIDIA Isaac Sim 并插入机器人。
推荐理由:原文给出用手机照片重建仿真场景并接入 Isaac Sim 的完整流程,可迁移到机器人仿真环境搭建。
NVIDIA Isaac Lab 2.3 正式发布(generally available),新增全身控制与增强遥操作,用于提升人形机器人能力。官方称从真实世界示范训练机器人策略成本高、速度慢且易过拟合,仿真优先的方法可降低风险与成本,并支持更安全、适应性更强的部署。
推荐理由:Isaac Lab 2.3 正式版带来全身控制与增强遥操作,读者可据此评估仿真优先的机器人学习流程。
Skild AI 训练了一个 omni-bodied 大脑,在包含 10 万种不同机器人的仿真环境中训练,使其能零样本控制训练中从未见过的机器人。在展示中,同一模型无需针对场景微调,就能应对断腿、锁膝、卡轮、踩高跷等形态突变,通过上下文学习在毫秒到数分钟内调整步态并恢复行走。Skild AI 认为,让模型控制所有身体而非单一或少数身体,是通向可靠物理世界 AGI 的路径。
推荐理由:Skild AI 用 10 万种机器人训练单一策略,展示零样本适应断腿、卡轮等形态突变,可观察跨本体泛化的思路。
NVIDIA 在 SIGGRAPH 2025 上宣布 Isaac Sim 5.0 和 Isaac Lab 2.2 正式开放,两个机器人仿真与学习框架现已在 GitHub 上提供。Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用,可用于在物理仿真环境中构建、训练和测试 AI 驱动机器人。
推荐理由:Isaac Sim 5.0 与 Isaac Lab 2.2 正式开放,读者可了解仿真与学习框架在 GitHub 上的可用状态。
Skild AI 发布通用机器人基础模型 Skild Brain,采用低频高层操作与导航策略加高频低层动作策略的分层架构,可运行于四足、人形、桌面机械臂和移动操作平台等多种本体。该模型通过大规模仿真与互联网视频数据预训练,再用针对性真实数据后训练交付客户方案;官方同时发布 2024 年的早期可扩展性与鲁棒性结果,并称将在接下来一个月展示更多能力。
推荐理由:Skild AI 公开其通用机器人基础模型的架构与训练路线,读者可了解其跨本体泛化思路与仿真预训练加真机后训练的分工。
Figure 发布用端到端强化学习训练的人形行走控制器,在 GPU 加速物理仿真中并行模拟数千台 Figure 02,数小时生成数年仿真数据。该策略结合域随机化与机器人上 kHz 级力矩反馈闭环控制,无需额外微调即可零样本迁移到真机,并让 10 台 Figure 02 运行同一网络。训练中通过奖励机器人模仿人类行走参考轨迹,保留脚跟着地、脚尖离地和摆臂等步态特征。
推荐理由:Figure 公开了纯仿真强化学习训练的人形行走控制器,并说明零样本迁移到 Figure 02 真机的做法。