NVIDIA JetPack 7.2 发布:面向边缘智能体部署优化内存效率
NVIDIA JetPack 7.2 支持一条命令部署开源栈 NVIDIA NemoClaw,为 OpenClaw 增加隐私与安全控制。该版本还引入面向 Jetson 的 NVIDIA agent skills,通过优化内存与性能加速 AI 智能体在物理环境中的实际部署。
NVIDIA JetPack 7.2 支持一条命令部署开源栈 NVIDIA NemoClaw,为 OpenClaw 增加隐私与安全控制。该版本还引入面向 Jetson 的 NVIDIA agent skills,通过优化内存与性能加速 AI 智能体在物理环境中的实际部署。
NVIDIA 在 GTC Taipei 上发布 Factory Operations Blueprint(FOX),一套用于构建自主工厂管理智能体的参考设计,可连接机器信号、质量系统与机器人集群,并编排质检、物料运输与工人安全等专用智能体。
推荐理由:NVIDIA 公布工厂运营蓝图 FOX 的参考设计与首批落地案例,可了解工厂管理智能体的构建方式与部署路径。
NVIDIA 介绍用 Alpamayo 对自动驾驶车辆模型进行闭环后训练,以弥合训练与部署之间的差距。可推理复杂驾驶场景的 VLA 模型目前主要在开环下训练,模型输出直接与真值行为比较,不考虑其对环境的影响。
NVIDIA 发布面向物理 AI 的前沿基础模型 Cosmos 3,结合物理推理能力。该模型面向机器人、自动驾驶和智能空间,用于理解现实世界、预测后续变化并生成针对特定环境、本体和任务的动作。
推荐理由:NVIDIA 发布面向物理 AI 的前沿基础模型 Cosmos 3,读者可了解其推理、世界与动作模型的定位。
NVIDIA 介绍如何通过 Agent Skills 在 Jetson 边缘设备上最大化内存效率,以运行数十亿参数模型。开源生成式 AI 模型正从数据中心走向物理世界,开发者希望在边缘部署物理 AI 智能体和自主机器人。核心挑战是在有限内存的边缘设备上高效运行大参数模型。
NVIDIA 在 GTC 2026 上发布 Omniverse 库,用于把物理 AI 能力集成进现有应用。物理 AI 指在物理仿真环境中感知、推理并行动的 AI 系统,可在机器人出厂前完成策略训练与验证。该方向面向机器人与数字孪生,让团队在部署到工厂前就能设计和验证机器人及工业系统。
IsaacLab 为 Linux 多 GPU 训练文档补充 NCCL 排障说明,针对 ProcessGroupNCCL 报出 CUDA "an illegal memory access was encountered" 导致分布式训练失败的情况,给出 NCCL_SHM_DISABLE=1、NCCL_IB_DISABLE=1、NCCL_ALGO=Ring 三个环境变量变通方案。
IsaacLab 合并 #5195,在多 GPU 训练文档中新增 NCCL 故障排查说明,针对 Linux 上分布式训练报 ProcessGroupNCCL 的 CUDA illegal memory access 错误。
NVIDIA 推出 IGX Thor,面向工业、医疗与机器人边缘 AI 应用。工厂自动化单元、自主移动平台和手术室正部署更复杂的生成式 AI 模型、更多传感器与更高保真数据流,以提升工人生产力、人机交互并减少停机时间。
Isaac Lab 3.0 Beta 发布,基于 Isaac Sim 6.0 做架构重构,引入多后端物理、可插拔渲染器与 Warp 原生数据管线。新增 isaaclab_newton 扩展支持 MuJoCo-Warp 求解器与无 Kit 模式,并给出四元数 XYZW 顺序、.data.* 返回 wp.array 等破坏性变更及迁移工具。
推荐理由:Isaac Lab 3.0 Beta 的架构改动与迁移工具清单,可帮助现有用户评估升级成本与后端切换路径。
NVIDIA 发布 Project Rheo 蓝图,开发者可在 Isaac Sim / Isaac Lab 中搭建智能医院数字孪生,训练医院自动化机器人系统。
推荐理由:原文给出 Project Rheo 从数字孪生搭建、示范采集到合成数据与策略训练的完整命令流程,可据此复现医院自动化训练管线。
NVIDIA 博客介绍 GPU 加速的开源仿真器 Newton 1.0 GA,为工业机器人新增接触密集操作与行走能力。文章指出,运动与操作任务需要仿真器处理接触力、可变形物体等复杂动力学,多数引擎在速度与真实感之间取舍,而 Newton 的设计目标是兼顾两者。
推荐理由:Newton 1.0 GA 面向工业机器人补充接触密集操作与行走能力,读者可了解其仿真定位与开源进展。
NVIDIA 发布博文介绍 Cosmos 世界基础模型,用于扩展合成数据与物理 AI 推理。文章指出人形机器人和自动驾驶等 AI 驱动机器人依赖高保真、物理感知的训练数据,缺乏多样且具代表性的数据集会导致泛化能力差、对真实世界变化接触有限以及边缘情况行为不可预测,而收集大规模真实世界数据集存在困难。
NVIDIA Warp 用于为 AI 构建加速、可微的计算物理代码,面向从人工驱动转向 AI 驱动的计算机辅助工程(CAE)流程。物理基础模型跨几何与工况泛化,依赖大量高保真、符合物理规律的数据,而近期 CFD 代理模型的缩放律工作表明仿真生成数据在其中起关键作用。
NVIDIA 推出 TensorRT Edge-LLM,一个高性能 C++ 推理运行时,面向自动驾驶汽车与人形机器人等物理 AI 场景。它针对严格功耗与时延约束,支持高保真推理、实时多模态交互和轨迹规划。
NVIDIA 开发者博客介绍 R²D²,一种借助 NVIDIA Isaac Lab 扩展多模态机器人学习的方法。文章指出真实世界采集数据昂贵、缓慢且危险,难以安全训练高速碰撞或硬件故障等风险场景,且真实数据通常偏向正常条件。原文正文在此处截断,未给出 R²D² 的具体方法、数据规模或实验结果。
推荐理由:介绍 R²D² 如何借助 Isaac Lab 在仿真中扩展多模态机器人学习,可了解其应对真实数据采集难题的思路。
NVIDIA 发布 Isaac GR00T N1.6,用于构建人形机器人的通用能力,覆盖感知、规划与全身控制。该工作流将仿真、控制与学习统一起来,让机器人在进入真实世界前先习得复杂技能。
推荐理由:NVIDIA 官方给出 GR00T N1.6 的仿真到真实工作流,读者可了解人形机器人通用能力训练如何统一仿真、控制与学习。
NVIDIA 推出 TensorRT Edge-LLM,用于在车端和机器人端本地加速 LLM 与 VLM 推理。该方案面向汽车与机器人开发者,支持在车辆或机器人上直接运行对话式 AI 智能体、多模态感知与高层规划,以应对延迟、可靠性和离线运行需求。
NVIDIA 介绍如何用 Isaac Sim 与 OSMO 构建并编排端到端合成数据生成(SDG)工作流,以应对机器人在动态移动任务中训练策略和模型所需的大规模多样化高质量数据。由于真实世界采集这类数据成本高、耗时长,方案转向在云端规模化生成合成数据。
NVIDIA 发布 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行,需要可扩展、可重复的仿真评测,而大规模评测搭建繁琐且依赖人工,开发者往往要自建高开销的定制基础设施,任务库在复杂度和多样性上也有限。
推荐理由:Isaac Lab-Arena 面向通用机器人策略的仿真评测,读者可了解其如何降低大规模评测的搭建成本。
NVIDIA 推出 Jetson T4000,面向机器人与边缘 AI 应用,提供最高 1200 FP4 TFLOPs 的 AI 算力和 64 GB 内存,针对更紧的功耗与散热条件优化。同步发布的 JetPack 7.1 用于加速边缘与机器人 AI 推理。
推荐理由:原文给出 Jetson T4000 的算力、内存与功耗定位,读者可据此判断边缘机器人推理硬件的选型空间。
NVIDIA 发布 Alpamayo,面向自动驾驶的推理式视觉语言动作(VLA)模型,可将决策过程展开为逐步推理轨迹。该模型被视为在语义空间中运行的隐式世界模型,用于处理复杂驾驶问题。
NVIDIA 回顾 2025 年在数据中心电力与计算设计、AI 基础设施、模型优化、开放模型、AI 智能体和物理 AI 方面的进展,称这些创新重新定义了智能系统的训练、部署与走向真实世界的方式。上述内容来自其年度最受读者关注文章的盘点。
NVIDIA 将开源机器人参考框架 Isaac Sim 与 World Labs 的生成模型 Marble 结合,可从文本提示直接生成照片级、可直接用于仿真的 3D 世界,替代以往需数周手工建模的流程。该方案面向机器人仿真环境构建,原文未披露具体版本号、成功率或性能数据。
NVIDIA 提出 R²D²,利用仿真与语言模型改进机器人操作,以应对真实动态环境中物体、光照和接触动力学变化带来的挑战。该方法针对仿真到现实的差距以及夹爪或工具未优化的问题,目标是提升机器人泛化能力、长时序任务执行与跨任务灵巧操作水平。
NVIDIA 发布 Jetson 边缘 AI 入门指南,介绍如何在紧凑、GPU 加速的模组和开发者套件上运行 LLM、VLM 与基础模型,让机器人、智能摄像头和自主机器无需依赖云端即可实时感知、理解并响应。Jetson 平台专为边缘 AI 与机器人打造。
NVIDIA 发布 Cosmos Cookbook,介绍如何用 Cosmos 开放世界基础模型(WFM)为物理 AI 扩展高保真合成数据生成。该方案针对真实世界数据集采集成本高、耗时长且危险的问题,支持可扩展的合成数据生成与数据增强。
NVIDIA 介绍用 Vision Programming Interface(VPI)把立体视觉任务分配到 Jetson 的 PVA、OFA、VIC 等专用加速器,以减轻 GPU 负载。
推荐理由:原文给出 VPI 在 Jetson Thor 上调度 PVA、OFA、VIC 的完整代码与实测吞吐,可迁移到多路立体视觉部署。
NVIDIA 机器人研发文摘 R²D² 本期聚焦长时程操作中的感知引导任务与运动规划,指出传统 TAMP 系统依赖静态模型、在新环境中常失效。方案将感知与操作结合,使机器人能在执行过程中更新规划并适应动态场景。
Hugging Face 的 LeRobot 发布 v0.4.0,引入 Dataset v3 与流式数据集,并新增 OpenPi、Pi0、Pi0.5 和 NVIDIA GR00T N1.5 策略支持。该版本还加入 Libero、MetaWorld 仿真环境,支持多 GPU 训练,并新增 Intel XPU 后端。完整变更见 v0.3.3...v0.4.0 变更日志。
推荐理由:LeRobot v0.4.0 的变更清单显示数据集格式与策略支持同步扩展,可据此判断现有训练流程的迁移成本。
NVIDIA 发布教程,介绍如何借助 Omniverse NuRec,仅用智能手机完成机器人仿真场景重建。流程从用 iPhone 拍摄照片开始,经 3DGUT 重建三维场景,再加载进 NVIDIA Isaac Sim 并插入机器人。
推荐理由:原文给出用手机照片重建仿真场景并接入 Isaac Sim 的完整流程,可迁移到机器人仿真环境搭建。
NVIDIA Jetson AGX Thor 通过软件更新将生成式 AI 吞吐量提升至 7 倍,此前发布时相对 Jetson AGX Orin 的生成式 AI 性能提升最高为 5 倍。该提升延续了 NVIDIA 软件生态持续优化的路线。
NVIDIA Isaac Lab 2.3 正式发布(generally available),新增全身控制与增强遥操作,用于提升人形机器人能力。官方称从真实世界示范训练机器人策略成本高、速度慢且易过拟合,仿真优先的方法可降低风险与成本,并支持更安全、适应性更强的部署。
推荐理由:Isaac Lab 2.3 正式版带来全身控制与增强遥操作,读者可据此评估仿真优先的机器人学习流程。
NVIDIA 发布教程,介绍如何用 Isaac Lab 和 Newton 训练四足机器人运动策略,并仿真布料操作。内容围绕机器人仿真中的物理基础展开,面向研究人员和工程师,用于在安全、加速且低成本的环境中训练、开发、测试和验证机器人控制算法与原型设计。
NVIDIA 介绍三种用 OpenUSD 加速机器人开发工作流的方法。OpenUSD 是用于构建机器人学习虚拟世界的开放标准,可支撑大规模物理精确仿真,以应对机器人开发对仿真的需求增长。
NVIDIA 介绍神经机器人动力学 NeRD,用于弥补经典解析动力学在简化接触、省略运动学闭环和不可微模型上的不足。与面向特定任务的神经仿真器不同,NeRD 可作为 Newton 等物理引擎中的即插即用后端,让团队复用现有的策略学习流程。
NVIDIA Research 提出 R²D²,用三项神经突破改进机器人学习,目标是让机器人应对真实世界任务中的不可预测性、灵巧性与精细交互。当前机器人虽在受控环境中表现优异,但从装配精密部件到以类人精度操作日常物体,仍难以胜任真实部署。
NVIDIA 发布 Warp 1.9,新增全可微 wp.MarchingCubes 实现,完全用 Warp 编写并可在 CPU 和 GPU 上运行,同时修复了长期存在的 off-by-one 缺陷。
NVIDIA 发布面向 Jetson Thor 的 CUDA Toolkit 13.0,将服务器级与嵌入式 Arm 平台的 CUDA 工具链统一,开发者可一次构建并在 GB200、DGX Spark 与 Thor 上部署同一二进制,Orin(sm_87)暂不适用。
NVIDIA 发布 Isaac for Healthcare 远程手术工作流入门指南,面向远程手术场景。该工作流针对全球外科医生短缺问题——预计 2030 年缺口达 450 万,农村医院难以获得专科医生,远程手术正从实验走向必需。