NVIDIA Isaac GR00T:Jetson 边缘平台上的机器人与具身智能进展
NVIDIA 在 CES 上展示 Caterpillar 座舱 AI 助手,基于 Jetson Thor 本地运行 Nemotron 语音模型与 Qwen3 4B,无需云端连接。
NVIDIA 在 CES 上展示 Caterpillar 座舱 AI 助手,基于 Jetson Thor 本地运行 Nemotron 语音模型与 Qwen3 4B,无需云端连接。
NVIDIA 在 CES 展示 Caterpillar 座舱内 Cat AI Assistant 原型,基于 Jetson Thor 本地运行 Nemotron 语音模型与 vLLM 服务的 Qwen3 4B,无需云端连接。
Hugging Face 上线 strands-isaaclab-h1-rough 数据集,记录宇树 19 自由度 H1 人形机器人在 NVIDIA Isaac Lab 程序化崎岖地形上按指令基座速度行走,共 12 条 episode、6000 帧、50 fps。
Hugging Face 上发布 strands-isaaclab-ant-131k-policy,这是用 rsl_rl PPO 在 Isaac Lab 的 Isaac-Ant 任务上训练的机器人策略,训练规模达 131,072 个并行环境。
strands-robots 通过 isaaclab train_policy provider 在 Isaac Lab 中训练宇树 Go2 四足机器人 PPO 策略,4096 个并行环境、1500 次迭代、147M 环境步,在单张 NVIDIA L40S 上耗时 57 分 39 秒,速度跟踪成功率 0.98。
推荐理由:原文给出从 Isaac Lab 训练 PPO 策略到录制 LeRobot v3 数据集的完整命令与验证流程,可迁移到其他机器人任务。
cagataydev 在 Hugging Face 发布 strands-isaaclab-shadow-reorient-policy,这是用 strands-robots 的 isaaclab train_policy provider(PR #4227)训练的 rsl_rl PPO 策略,任务为 Isaac-Reorient-Cube-Shadow 手中方块重定向。
推荐理由:读者可据此了解用 strands 工具链在 Isaac Lab 中训练并导出 Shadow Hand 转方块策略的完整流程与实测指标。
NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,新增对 ROS Lyrical 和 Ubuntu 24.04 的支持,并引入面向 AI agent 的 setup、manipulation 等可复用技能与 agent-ready 文档。
推荐理由:Isaac ROS 5.0 的 agentic 工作流与 ROS Lyrical、Ubuntu 24.04 支持,为开发者提供了从开发到 Jetson 部署的完整路径参考。
NVIDIA 介绍如何借助上游抽象层与 CUDA buffer 后端,让 AI Agent 加速 ROS 2 节点,避免消息在节点间经 CPU 内存序列化或拷贝而抵消 GPU 加速收益。仅靠快速 CUDA kernel 并不能保证 ROS 2 图变快,感知与 AI 负载留在 GPU 上的优势可能被传输开销侵蚀。
NVIDIA 推出 Halos,称其为首个也是唯一一个面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层。
Isaac Lab 3.0 Early Access 发布,引入工厂式多后端架构,物理、渲染与可视化可分别选择 isaacsim_physx、ovphysx、newton_mjwarp 等配置,并支持不安装 Isaac Sim 的无 Kit 工作流。
推荐理由:Isaac Lab 3.0 早期访问版把物理、渲染与可视化拆成可切换后端,并给出 2.x 到 3.0 的迁移清单,便于评估现有训练流程的改动量。
Skild AI 发布 S1 机器人基础模型,可用单段视频演示作为提示,在不更新权重、不做任务专项后训练的情况下执行此前未见的长程任务,最长约 10 分钟,涵盖装盆、做煎饼、手冲咖啡和套件装配等。
推荐理由:S1 用单段视频提示完成长程任务且不更新权重,读者可据此判断免重训部署路径的可行边界。
全球 Robotaxi 市场预计到 2035 年达 4000 亿美元,超 600 万辆商用车上路,NVIDIA 以训练、仿真验证、车载三计算机架构支撑商业化车队规模化部署。
ZimaBlue 提出从大规模自我中心视频学习可泛化世界动作模型(WAM)的三阶段训练方案,先在大规模人类与机器人自我中心视频上做因果具身视频预训练,再通过视频-动作中期训练将视觉动态对齐到异构机器人轨迹,最后针对目标机器人做专门化。
推荐理由:论文给出从大规模自我中心视频学习世界动作模型的三阶段方案,并报告零样本操作成功率随数据规模的变化。
NVIDIA 介绍用 AI 智能体训练跨本体机器人导航策略的方法。导航需持续定位、理解环境、选路并避障,与仅产生稳定运动的行走不同;迁移到新机器人或新场景通常需要新数据、仿真资产和机器人接口。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 系列中的 4B 全模态模型,并配有基于 Nemotron 的 2B 推理器。原文指出机器人需要能适应自身传感器、环境和任务、同时运行在机载计算硬件上的策略,而世界模型虽然为学习物理交互提供了基础,但其体积会让端侧部署变得困难,Cosmos 3 Edge 正是针对这一问题。
推荐理由:NVIDIA 公布 Cosmos 3 Edge 的 4B 参数与 2B 推理器配置,读者可了解世界模型在机载硬件上部署的取舍。
NVIDIA 发布 JetPack 7.2.1,为 Jetson 平台新增智能体视频技能与 T3000 仿真能力。该版本面向机器人、智能视频分析、工业自动化等场景,覆盖多路摄像头采集、网络流解码、AI 推理与传统视觉处理、结果绘制及视频编码存储或传输等完整视频数据链路。
NVIDIA 发布 Cosmos 3 开放物理 AI 世界基础模型家族,基于 mixture-of-transformers 架构,同时支持视觉推理、世界生成与动作预测。
推荐理由:Cosmos 3 以开放权重和三种规模覆盖世界生成与动作预测,读者可据此判断物理 AI 团队如何做后训练与部署。
NVIDIA 提出世界动作模型(World Action Models),用于解决机器人策略泛化难题:仅在训练场景成功的策略,在物体形状、位置或光照变化时往往失效。该模型让策略理解任务背后的物理规律,而非单纯模仿示范,这一能力来自其骨干网络。
NVIDIA 发布 Alpamayo 2 Super,这是一个 340 亿参数的开源推理视觉模型,用于自动驾驶开发。原文指出,以往轨迹生成、高层意图预测、场景理解和数据标注往往依赖彼此独立的模型,导致相关输出难以比较、模型行为难以排查、表示也难以在开发流程中复用;Alpamayo 2 Super 将这些能力整合到同一模型中。
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人,应对医疗机器人无法依赖互联网规模数据采集和无限真实世界实验的问题。每项示范都需要专用设备、临床专业知识和患者或实验室环境的使用权限,由此带来数据缺口等三大挑战。
NVIDIA 展示 Jetson 边缘 AI 与机器人平台,Jetson Orin Nano Super 提供 67 TOPS 算力,可本地运行 Reachy Mini 语音视觉助手等首个机器人项目。
NVIDIA 发布 Cosmos-H-Dreams,一个动作条件驱动的实时生成式手术机器人仿真器,由 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 RTX PRO 6000 上运行。
推荐理由:原文给出从离线世界模型到实时交互仿真的蒸馏与推理链路,可了解手术机器人策略评估环境的构建方式。
NVIDIA 开源 Medical Physics Simulation 框架,作为 Isaac for Healthcare 内的 GPU 加速能力,用于建模解剖结构与器械交互、生成难以采集的场景并训练或评估机器人策略。
推荐理由:原文给出框架的仿真能力、开源入口与并行训练数据,读者可据此判断医疗机器人仿真工作流的复用方式。
NVIDIA 推出基于 Thor 架构的 Jetson T3000 与 IGX T3000 模块,提供 865 FP4 teraflops 算力,体积和功耗约为 T5000 的一半,并推出 400 FP4 teraflops、16GB 内存的 Jetson T2000。
推荐理由:原文给出两款 Thor 模块的算力、内存与上市节奏,读者可据此判断边缘端机器人算力选型与迁移路径。
NVIDIA 提出用 AI 智能体加速开发轻量级 OpenUSD 运行时。OpenUSD 是面向物理 AI 的开放可扩展框架,提供通用场景描述语言,可将 CAD 数据、仿真资产和真实遥测数据整合到统一的物理精确视图中。此前构建 USD 实现通常需要改造大型现有代码库,即便团队只需特定内存占用。
NVIDIA 发文讨论通用机器人策略在真实世界部署前的评估难题,指出当前最强系统已能按自然语言指令完成抓取、放置、分拣和操作多种物体,但严格评估仍是该领域最难解决的未解问题之一。文章介绍了其中的关键问题及 NVIDIA 的应对方法。
NVIDIA 发布文章介绍如何用 Isaac GR00T 端到端开发人形机器人策略。文章指出,随着团队从人形机器人整机调试转向特定任务技能开发,对可重复开发工作流的需求正在增长,而当前开发流程仍高度碎片化,开发者需要花大量时间配置机器人基础设施,之后才能专注于构建机器人能力。
NVIDIA 与 Hugging Face 合作,将 NVIDIA Isaac GR00T 1.7 开放推理视觉语言动作模型和 NVIDIA Isaac Teleop 框架引入 Hugging Face 的开源机器人库 LeRobot,NVIDIA Cosmos 3 计划随后加入。
推荐理由:NVIDIA 与 Hugging Face 把 GR00T 1.7 和 Isaac Teleop 接入 LeRobot,读者可了解开放机器人开发流程的整合方式。
LeRobot v0.6.0 发布,引入 VLA-JEPA、LingBot-VA、FastWAM 三个世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等新 VLA 和 Robometer、TOPReward 奖励模型 API。
推荐理由:LeRobot v0.6.0 一次放出世界模型策略、多个 VLA 与奖励模型 API,读者可据此判断开源机器人学习栈的能力边界。
NVIDIA 发布 Isaac Lab v3.0.0-beta2.patch1,在 Isaac Lab 3.0.0 Beta 2 基础上更新支持 Isaac Sim 6.0.1,包含针对 NuRec 工作流的修复与改进。
NVIDIA 机器人软件工程师 Jaiveer Singh 领导 Isaac ROS 团队,基于开源 ROS 2 框架为自主移动机器人、操作和人形系统提供 CUDA 加速库与 AI 模型。
NVIDIA 介绍基于 OpenUSD 和 Omniverse 的三种视觉 AI 智能体工作流:用 Defect Image Generation 技能生成合成缺陷数据、用 Video Data Augmentation 扩展场景覆盖、用 TAO 技能微调模型。
Firefly Aerospace 的 Blue Ghost Mission 2 将搭载 Ocula 月球成像服务,首次在月球轨道运行 NVIDIA Jetson 边缘 AI 平台,直接在轨推理并近实时回传关键信息,而非下传全部原始数据。
NVIDIA 推出 Halos for Robotics 全栈功能安全系统,面向在工厂、仓库、医院和家庭中与人自主共处的物理 AI 机器人。该系统针对机器人走出围栏、环境愈发非结构化后传统安全方案失效的问题,以 AI 驱动的安全为核心。NVIDIA 称这是物理 AI 到来过程中的一个重要里程碑。
Isaac Lab 3.0 Beta 2 发布,作为 3.0 beta 的稳定化版本,兼容 Isaac Sim 6.0.0,扩展了 Newton 支持(VBD、求解器耦合、Kamino、崎岖地形、传感器)与多后端物理,并简化训练和安装命令。
推荐理由:Isaac Lab 3.0 Beta 2 汇总了多后端物理、Newton 与无 Kit 工作流的改动,可据此判断升级与迁移成本。
NVIDIA 提出世界动作模型(WAM)概念,指从预训练世界模型或视频模型出发、再微调为机器人策略的一类模型,与从 VLM 骨干起步的 VLA 形成对照。文中以 Pi-0 和 GR00T N1 作为 VLA 的代表案例。
NVIDIA 在 GTC Taipei 上披露多项 robotaxi 合作:Uber 与 Autobrains 在慕尼黑基于 NVIDIA Hyperion 平台启动 robotaxi 项目,Foxconn 扩大合作在台湾部署车队,VinFast 与 Autobrains 面向东南亚推 L4 车辆,HUMAIN 则将 Hyperion 方案引入沙特。
NVIDIA 与斗山集团扩大合作,覆盖斗山机器人、斗山山猫、斗山恒能和斗山电子材料 BG,将 NVIDIA 全栈加速计算平台与斗山工业自动化、发电和电子材料能力结合。
NVIDIA Research 在 CVPR 展示三篇论文:首个零样本抓取基础模型 GraspGen-X 基于 20 亿次仿真抓取训练,可为未见过的夹爪和物体生成抓取位姿。
推荐理由:三篇论文分别覆盖零样本抓取、自动驾驶推理加速与虚拟环境智能体训练,可了解规模化训练如何提升跨场景泛化。
NVIDIA 在 CVPR 发布面向物理 AI 研究的 agent skills,帮助研究者自动化自动驾驶、机器人和视觉 AI 的开发流程。
推荐理由:NVIDIA 在 CVPR 发布面向物理 AI 的 agent skills,读者可了解其覆盖自动驾驶、视觉 AI 与机器人学习的工具链与开放入口。