MiniWorld:从零训练视频世界模型的可复现框架
MiniWorld 是一个从零训练流式视频世界模型的可复现框架,采用块因果视频扩散 Transformer,在预训练 Video VAE 的潜空间中以 Flow Matching 训练,并基于 Diffusion Forcing 使用分块非递减噪声调度和两阶段继续训练。
推荐理由:MiniWorld 给出从零训练流式视频世界模型的完整方案与代码,读者可据此评估单机 8 卡复现的可行性。
MiniWorld 是一个从零训练流式视频世界模型的可复现框架,采用块因果视频扩散 Transformer,在预训练 Video VAE 的潜空间中以 Flow Matching 训练,并基于 Diffusion Forcing 使用分块非递减噪声调度和两阶段继续训练。
推荐理由:MiniWorld 给出从零训练流式视频世界模型的完整方案与代码,读者可据此评估单机 8 卡复现的可行性。
Push-Wiper 将黏性污渍清洁重构为聚集问题,用海绵通过分段推扫轨迹逐步聚集污渍,再经后处理分离聚集物并实现海绵自清洁。该方法用 Diffusion Policy 生成自适应推扫动作序列,经任意表面位姿插值器(ASPI)和力位混合控制器执行,清洁得分(去除污渍面积百分比)最高比基线方法高 130%。
Open Robotics 为 gz-sim 10.5.0 发布做准备,并给出与 10.4.0 的对比。该版本由 Arjo Chakravarty 提交、Shameek Ganguly 共同参与。
Genesis 发布 v1.3.1,修复 Nyx 渲染插件对 FEM 实体的支持并为其添加 CI。新刚性求解器选项 contact_resolution 使接触法向力不再受摩擦系数和滑动速度偏置,提供 convex 与 signorini(新默认值)两种模式。查看器插件同时支持对视觉网格进行射线投射。
Genesis 发布 v1.3.0,可微刚体仿真不再被视为实验性功能,刚体求解器新增扭转摩擦与滚动摩擦,用于缩小仿真到真实的差距。新版本还在 RigidEntity.attach 中加入显式安装变换、为接触传感器加入连杆过滤,并修复了相机视频录制、SPH 流体浮力、场景重置后相机传感器刷新等问题。
推荐理由:Genesis v1.3.0 把可微刚体仿真移出实验状态,并新增扭转与滚动摩擦,读者可据此判断仿真到真实迁移的建模能力变化。
NVIDIA 提出以 GPU 原生医学物理仿真开发医疗机器人,应对医疗机器人无法依赖互联网规模数据采集和无限真实世界实验的问题。每项示范都需要专用设备、临床专业知识和患者或实验室环境的使用权限,由此带来数据缺口等三大挑战。
MuJoCo 3.11.0 为 geom 新增 surfacevel 表面速度场与 adhesion 接触粘附力,可用静态 geom 建模传送带、跑步机和转台,粘附接触支持"远距离粘附"以模拟磁铁。
NVIDIA 发布 Cosmos-H-Dreams,一个动作条件驱动的实时生成式手术机器人仿真器,由 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 RTX PRO 6000 上运行。
推荐理由:原文给出从离线世界模型到实时交互仿真的蒸馏与推理链路,可了解手术机器人策略评估环境的构建方式。
NVIDIA 开源 Medical Physics Simulation 框架,作为 Isaac for Healthcare 内的 GPU 加速能力,用于建模解剖结构与器械交互、生成难以采集的场景并训练或评估机器人策略。
推荐理由:原文给出框架的仿真能力、开源入口与并行训练数据,读者可据此判断医疗机器人仿真工作流的复用方式。
DiffGI 用连续 2D TSDF 和可微 Marching Squares 模块替换几何图像中的二值占用图,使整条流水线端到端可微,可在消费级 GPU 上约一秒完成高保真薄壳 3D 生成,甚至能在笔记本 CPU 上运行,无需服务器。项目主页已上线,交互式 demo 即将推出。
Genesis 发布 v1.2.3,新增带高阻抗选项的椭圆摩擦锥,用于高保真静态摩擦建模,并改进 fp32 精度下约束求解器的收敛性。该版本还支持批量渲染器中的异构实体、射线传感器仅距离模式,并修复 USD、MJCF 解析及质量矩阵等问题,非批量 CPU 仿真提速最高 30%。
NVIDIA 提出用 AI 智能体加速开发轻量级 OpenUSD 运行时。OpenUSD 是面向物理 AI 的开放可扩展框架,提供通用场景描述语言,可将 CAD 数据、仿真资产和真实遥测数据整合到统一的物理精确视图中。此前构建 USD 实现通常需要改造大型现有代码库,即便团队只需特定内存占用。
Genesis 发布 v1.2.2,新增面向强化学习灵巧策略训练的高吞吐真实触觉传感器系列,并支持迟滞、失效触觉单元、探针增益等噪声选项。非凸碰撞检测鲁棒性提升,性能与凸分解相当,修复了虚假深层接触与薄壳穿透问题;启用 noslip 后处理对所有后端的减速降至 20% 以内。
论文提出 RynnWorld-Teleop,一种动作条件世界模型,用生成式世界模型替代实体机器人实现数字遥操作,将操作者手部姿态流转化为机器人视角的高保真视频,并作为与本体无关的动作标签经重定向迁移到任意目标机器人。
推荐理由:论文提出用生成式世界模型替代实体机器人采集数据,读者可了解数字遥操作如何解耦硬件约束并生成可迁移轨迹。
Image2Sim 是一个实时神经仿真框架,可从带位姿的 RGB-D 图像序列构建可交互的具身导航环境。相关代码与具体使用说明已在 GitHub 页面发布。作者感谢 Gim Hee Lee 教授的指导,以及阿里巴巴、香港科技大学的 Yinghao Xu 教授提供的 64 张 H20 GPU 支持。
推荐理由:Image2Sim 用带位姿的 RGB-D 序列生成可交互导航环境,读者可了解神经仿真如何降低具身导航的数据门槛。
GaP 是一种图即策略(Graph-as-Policy)多智能体编码框架,从模块化开放机器人技能库(MORSL)生成含感知、规划和控制节点的有向计算图,并构建内部仿真环境并行演练不同图以迭代优化结构与参数,提升成功率和吞吐量。
推荐理由:论文提出用多智能体编码生成计算图并并行仿真迭代,为变异性自动化任务提供可复用的可靠性思路。
论文提出 SVA(Search, Value, and Act)框架,将动作生成与后果评估解耦,为冻结的 VLA 策略引入长期后果感知。SVA 先用蒙特卡洛树搜索在仿真中探索 VLA 输出分布并收集带经验回报的轨迹,再蒸馏为轻量 Q 值模型,部署时由冻结 VLA 提出多个候选、评估器选出不确定性正则化后 Q 值最高的动作,无需仿真器。
推荐理由:论文提出冻结 VLA 的动作评估框架,用树搜索蒸馏 Q 值模型,读者可了解测试时扩展的替代思路。
Genesis 发布 v1.2.1,通过更好利用稀疏性和增量 Hessian 更新,大幅提升 CPU 大场景扩展能力,100 实体/1000 几何体的场景现可以 120FPS 实时运行。该版本新增 JointTorqueSensor,并修复复合连杆质心对齐、多材质 GLB 网格纹理加载及非凸网格水密化算法等问题。
Genesis 发布 v1.1.1,主要提升凸与非凸几何体刚体碰撞检测的鲁棒性,关闭凸分解以获得更高保真度不再被视为实验性功能。该版本修复了 GPU 仿真非确定性问题、凹几何体非凸碰撞检测,并改进基于扰动的多接触凸-凸碰撞检测。此外还去重 GLB 共享材质纹理、跳过彩色分割图灰度转换,并支持向 RigidSolver.set_base_links_ 传入切片环境掩码。
NVIDIA 发布 Isaac Lab v3.0.0-beta2.patch1,在 Isaac Lab 3.0.0 Beta 2 基础上更新支持 Isaac Sim 6.0.1,包含针对 NuRec 工作流的修复与改进。
NVIDIA 介绍基于 OpenUSD 和 Omniverse 的三种视觉 AI 智能体工作流:用 Defect Image Generation 技能生成合成缺陷数据、用 Video Data Augmentation 扩展场景覆盖、用 TAO 技能微调模型。
Open Robotics 的 gz-sim 发布 8.14.0 版本,由 azeey 打上 gz-sim8_8.14.0 标签,提交 4ada862 已通过 GitHub 签名验证。该提交标题为“Prepare for 8.14.0”,随附 2 个资源文件。
Isaac Lab 3.0 Beta 2 发布,作为 3.0 beta 的稳定化版本,兼容 Isaac Sim 6.0.0,扩展了 Newton 支持(VBD、求解器耦合、Kamino、崎岖地形、传感器)与多后端物理,并简化训练和安装命令。
推荐理由:Isaac Lab 3.0 Beta 2 汇总了多后端物理、Newton 与无 Kit 工作流的改动,可据此判断升级与迁移成本。
Open Robotics 为 Ignition Gazebo 6 打上 ignition-gazebo6_6.18.0 标签,提交由 Addisu Z. Taddese 签署,版本进入 6.18.0 准备阶段。
NVIDIA 与斗山集团扩大合作,覆盖斗山机器人、斗山山猫、斗山恒能和斗山电子材料 BG,将 NVIDIA 全栈加速计算平台与斗山工业自动化、发电和电子材料能力结合。
Open Robotics 发布 Gazebo 仿真器 gz-sim 10.4.0 版本,提交由 Arjo Chakravarty 签署,Steve Peters 参与协作。该版本为 gz-sim10 分支的 10.4.0 发布准备提交。
NVIDIA 在 CVPR 发布面向物理 AI 研究的 agent skills,帮助研究者自动化自动驾驶、机器人和视觉 AI 的开发流程。
推荐理由:NVIDIA 在 CVPR 发布面向物理 AI 的 agent skills,读者可了解其覆盖自动驾驶、视觉 AI 与机器人学习的工具链与开放入口。
Open Robotics 发布 Gazebo Sim(gz-sim)8.12.0 版本,对应 gz-sim8_8.12.0 标签,由 Jose Luis Rivero 提交并签署。该提交为 8.12.0 的发布准备,附带 2 个资源文件。
Open Robotics 的 gz-sim 发布 10.3.0 版本,提交由 Ian Chen 签署,用于准备 10.3.0 正式发布。该提交已在 GitHub 上通过验证签名,并附带 2 个资源文件。
NVIDIA 在 GTC 2026 上发布 Omniverse 库,用于把物理 AI 能力集成进现有应用。物理 AI 指在物理仿真环境中感知、推理并行动的 AI 系统,可在机器人出厂前完成策略训练与验证。该方向面向机器人与数字孪生,让团队在部署到工厂前就能设计和验证机器人及工业系统。
IsaacLab 为 Linux 多 GPU 训练文档补充 NCCL 排障说明,针对 ProcessGroupNCCL 报出 CUDA "an illegal memory access was encountered" 导致分布式训练失败的情况,给出 NCCL_SHM_DISABLE=1、NCCL_IB_DISABLE=1、NCCL_ALGO=Ring 三个环境变量变通方案。
IsaacLab 合并 #5195,在多 GPU 训练文档中新增 NCCL 故障排查说明,针对 Linux 上分布式训练报 ProcessGroupNCCL 的 CUDA illegal memory access 错误。
Isaac Lab 3.0 Beta 发布,基于 Isaac Sim 6.0 做架构重构,引入多后端物理、可插拔渲染器与 Warp 原生数据管线。新增 isaaclab_newton 扩展支持 MuJoCo-Warp 求解器与无 Kit 模式,并给出四元数 XYZW 顺序、.data.* 返回 wp.array 等破坏性变更及迁移工具。
推荐理由:Isaac Lab 3.0 Beta 的架构改动与迁移工具清单,可帮助现有用户评估升级成本与后端切换路径。
NVIDIA 发布 Project Rheo 蓝图,开发者可在 Isaac Sim / Isaac Lab 中搭建智能医院数字孪生,训练医院自动化机器人系统。
推荐理由:原文给出 Project Rheo 从数字孪生搭建、示范采集到合成数据与策略训练的完整命令流程,可据此复现医院自动化训练管线。
NVIDIA 博客介绍 GPU 加速的开源仿真器 Newton 1.0 GA,为工业机器人新增接触密集操作与行走能力。文章指出,运动与操作任务需要仿真器处理接触力、可变形物体等复杂动力学,多数引擎在速度与真实感之间取舍,而 Newton 的设计目标是兼顾两者。
推荐理由:Newton 1.0 GA 面向工业机器人补充接触密集操作与行走能力,读者可了解其仿真定位与开源进展。
NVIDIA Warp 用于为 AI 构建加速、可微的计算物理代码,面向从人工驱动转向 AI 驱动的计算机辅助工程(CAE)流程。物理基础模型跨几何与工况泛化,依赖大量高保真、符合物理规律的数据,而近期 CFD 代理模型的缩放律工作表明仿真生成数据在其中起关键作用。
NVIDIA 开发者博客介绍 R²D²,一种借助 NVIDIA Isaac Lab 扩展多模态机器人学习的方法。文章指出真实世界采集数据昂贵、缓慢且危险,难以安全训练高速碰撞或硬件故障等风险场景,且真实数据通常偏向正常条件。原文正文在此处截断,未给出 R²D² 的具体方法、数据规模或实验结果。
推荐理由:介绍 R²D² 如何借助 Isaac Lab 在仿真中扩展多模态机器人学习,可了解其应对真实数据采集难题的思路。
NVIDIA 发布 Isaac GR00T N1.6,用于构建人形机器人的通用能力,覆盖感知、规划与全身控制。该工作流将仿真、控制与学习统一起来,让机器人在进入真实世界前先习得复杂技能。
推荐理由:NVIDIA 官方给出 GR00T N1.6 的仿真到真实工作流,读者可了解人形机器人通用能力训练如何统一仿真、控制与学习。
NVIDIA 介绍如何用 Isaac Sim 与 OSMO 构建并编排端到端合成数据生成(SDG)工作流,以应对机器人在动态移动任务中训练策略和模型所需的大规模多样化高质量数据。由于真实世界采集这类数据成本高、耗时长,方案转向在云端规模化生成合成数据。
NVIDIA 发布 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行,需要可扩展、可重复的仿真评测,而大规模评测搭建繁琐且依赖人工,开发者往往要自建高开销的定制基础设施,任务库在复杂度和多样性上也有限。
推荐理由:Isaac Lab-Arena 面向通用机器人策略的仿真评测,读者可了解其如何降低大规模评测的搭建成本。