群核科技三篇论文入选 ECCV 2026,联合英伟达等提出物理AI仿真平台 SPEAR
群核科技三篇论文入选 ECCV 2026,涵盖空间感知与推理、强化学习数据生成、高保真物理仿真。其中联合 Adobe、NVIDIA、Apple、Intel 等提出的 SPEAR 仿真平台开放超 14000 个原生 Python 接口,可输出深度图、表面法线、实例分割等物理属性数据,并接入 InteriorAgent、InteriorGS 等结构化三维数据集。
群核科技三篇论文入选 ECCV 2026,涵盖空间感知与推理、强化学习数据生成、高保真物理仿真。其中联合 Adobe、NVIDIA、Apple、Intel 等提出的 SPEAR 仿真平台开放超 14000 个原生 Python 接口,可输出深度图、表面法线、实例分割等物理属性数据,并接入 InteriorAgent、InteriorGS 等结构化三维数据集。
脸谱心智(FaceMind Research Asia)的 Looped World Models(LoopWM)论文登上 Hugging Face Papers 当日 Top1,该工作让共享参数的 Transformer 模块对潜空间状态反复迭代细化,而非一次前向传播完成预测。
自变量连续完成B+、B++和C轮融资,投后估值突破200亿元并完成资本交割,成为大湾区首家估值超200亿元的具身大脑公司。已确认投资机构超30家,小米战投连续参与B、B+、B++三轮,美团、阿里、字节此前分别领投A、A+、A++轮。
NVIDIA 介绍基于 OpenUSD 和 Omniverse 的三种视觉 AI 智能体工作流:用 Defect Image Generation 技能生成合成缺陷数据、用 Video Data Augmentation 扩展场景覆盖、用 TAO 技能微调模型。
Google DeepMind 推出为期三个月的机器人加速器项目,从欧洲选出 15 家早期机器人初创公司,提供技术指导、产品辅导及 Gemini 机器人模型等 AI 资源支持。入选企业覆盖物流、制造、医疗、气候与导航等领域,包括开发机器人焊接平台的 3D-Components、做自主水下机器人的 Bubble Robotics、研发神经外科微机器人的 ROBEAUTE 等。
NVIDIA Research 在 CVPR 展示三篇论文:首个零样本抓取基础模型 GraspGen-X 基于 20 亿次仿真抓取训练,可为未见过的夹爪和物体生成抓取位姿。
推荐理由:三篇论文分别覆盖零样本抓取、自动驾驶推理加速与虚拟环境智能体训练,可了解规模化训练如何提升跨场景泛化。
NVIDIA 在 CVPR 发布面向物理 AI 研究的 agent skills,帮助研究者自动化自动驾驶、机器人和视觉 AI 的开发流程。
推荐理由:NVIDIA 在 CVPR 发布面向物理 AI 的 agent skills,读者可了解其覆盖自动驾驶、视觉 AI 与机器人学习的工具链与开放入口。
Robot Talk 第157期对话洛桑联邦理工学院(EPFL)助理教授 Josie Hughes,讨论如何用 AI 为机器人机械臂开发新设计。Hughes 于 2021 年在 EPFL 创立 CREATE Lab,研究聚焦利用机器人自身物理特性与环境交互的新型结构设计范式,涵盖机械手、软体机械臂及面向可持续性与科学的自动化系统。
DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人推理的模型升级版,增强了空间推理、多视角理解和成功检测能力,并新增仪表读数功能,可读取压力表、液位计等工业仪表。
推荐理由:Gemini Robotics-ER 1.6 在指向、计数、成功检测和仪表读数上的能力变化,以及通过 API 和 AI Studio 开放使用,可供开发者评估其作为机器人高层推理模型的适用性。
IsaacLab 为 Linux 多 GPU 训练文档补充 NCCL 排障说明,针对 ProcessGroupNCCL 报出 CUDA "an illegal memory access was encountered" 导致分布式训练失败的情况,给出 NCCL_SHM_DISABLE=1、NCCL_IB_DISABLE=1、NCCL_ALGO=Ring 三个环境变量变通方案。
IsaacLab 合并 #5195,在多 GPU 训练文档中新增 NCCL 故障排查说明,针对 Linux 上分布式训练报 ProcessGroupNCCL 的 CUDA illegal memory access 错误。
Hugging Face 的 LeRobot 发布 v0.5.1,为 pi0、pi0.5 和 pi0_fast 策略新增相对动作支持,并加入 HIL/Dagger/HG-Dagger/RaC 风格数据采集功能。
Isaac Lab 3.0 Beta 发布,基于 Isaac Sim 6.0 做架构重构,引入多后端物理、可插拔渲染器与 Warp 原生数据管线。新增 isaaclab_newton 扩展支持 MuJoCo-Warp 求解器与无 Kit 模式,并给出四元数 XYZW 顺序、.data.* 返回 wp.array 等破坏性变更及迁移工具。
推荐理由:Isaac Lab 3.0 Beta 的架构改动与迁移工具清单,可帮助现有用户评估升级成本与后端切换路径。
NVIDIA 发布 Project Rheo 蓝图,开发者可在 Isaac Sim / Isaac Lab 中搭建智能医院数字孪生,训练医院自动化机器人系统。
推荐理由:原文给出 Project Rheo 从数字孪生搭建、示范采集到合成数据与策略训练的完整命令流程,可据此复现医院自动化训练管线。
NVIDIA 发布博文介绍 Cosmos 世界基础模型,用于扩展合成数据与物理 AI 推理。文章指出人形机器人和自动驾驶等 AI 驱动机器人依赖高保真、物理感知的训练数据,缺乏多样且具代表性的数据集会导致泛化能力差、对真实世界变化接触有限以及边缘情况行为不可预测,而收集大规模真实世界数据集存在困难。
NVIDIA Warp 用于为 AI 构建加速、可微的计算物理代码,面向从人工驱动转向 AI 驱动的计算机辅助工程(CAE)流程。物理基础模型跨几何与工况泛化,依赖大量高保真、符合物理规律的数据,而近期 CFD 代理模型的缩放律工作表明仿真生成数据在其中起关键作用。
Hugging Face 的 LeRobot 发布 v0.5.0,新增宇树 G1 全身控制(WBC)实现,并将最低 Python 版本要求提升至 3.12。该版本还升级 transformers v5、加入可复现训练的 cudnn_deterministic 选项,并修复数据集转换与异步推理中的多处问题。
Hugging Face 的 LeRobot 发布 v0.4.4,新增 OpenArm 机器人及遥操作器、OpenArm Mini 遥操作器、达妙电机与 CAN 总线、RobStride CAN 实现,并加入 G1 遥操作支持。
NVIDIA 开发者博客介绍 R²D²,一种借助 NVIDIA Isaac Lab 扩展多模态机器人学习的方法。文章指出真实世界采集数据昂贵、缓慢且危险,难以安全训练高速碰撞或硬件故障等风险场景,且真实数据通常偏向正常条件。原文正文在此处截断,未给出 R²D² 的具体方法、数据规模或实验结果。
推荐理由:介绍 R²D² 如何借助 Isaac Lab 在仿真中扩展多模态机器人学习,可了解其应对真实数据采集难题的思路。
Hugging Face 的 LeRobot 发布 v0.4.3,新增 X-VLA 策略和基于 tokenization 的自回归 VLA PiFast,并加入 Unitree G1、OMX、Earth Rover Mini Plus 等机器人支持。
NVIDIA 介绍如何用 Isaac Sim 与 OSMO 构建并编排端到端合成数据生成(SDG)工作流,以应对机器人在动态移动任务中训练策略和模型所需的大规模多样化高质量数据。由于真实世界采集这类数据成本高、耗时长,方案转向在云端规模化生成合成数据。
NVIDIA 发布 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行,需要可扩展、可重复的仿真评测,而大规模评测搭建繁琐且依赖人工,开发者往往要自建高开销的定制基础设施,任务库在复杂度和多样性上也有限。
推荐理由:Isaac Lab-Arena 面向通用机器人策略的仿真评测,读者可了解其如何降低大规模评测的搭建成本。
NVIDIA 发布 Cosmos Cookbook,介绍如何用 Cosmos 开放世界基础模型(WFM)为物理 AI 扩展高保真合成数据生成。该方案针对真实世界数据集采集成本高、耗时长且危险的问题,支持可扩展的合成数据生成与数据增强。
Hugging Face 的 LeRobot 发布 v0.4.2,为 Pi0、Pi0.5 和 SmolVLA 加入实时分块(RTC)支持,并新增环境前后处理器。该版本修复了数据集子集请求时的回合过滤 bug 和 delta_timestamp 问题,数据集编码默认改为并行并支持按视频或图像类型动态调整压缩级别。
Hugging Face 的 LeRobot 发布 v0.4.1,新增 EnvHub 支持从 Hub 加载仿真环境,并将 LIBERO 改为 PyPI 包安装、移除原有安装补丁。该版本还修复了数据集特征修改的关键 bug 和数据访问瓶颈以加快训练,并修正 video_key 拼写及训练中的映射边界情况。
Hugging Face 的 LeRobot 发布 v0.4.0,引入 Dataset v3 与流式数据集,并新增 OpenPi、Pi0、Pi0.5 和 NVIDIA GR00T N1.5 策略支持。该版本还加入 Libero、MetaWorld 仿真环境,支持多 GPU 训练,并新增 Intel XPU 后端。完整变更见 v0.3.3...v0.4.0 变更日志。
推荐理由:LeRobot v0.4.0 的变更清单显示数据集格式与策略支持同步扩展,可据此判断现有训练流程的迁移成本。
NVIDIA 介绍神经机器人动力学 NeRD,用于弥补经典解析动力学在简化接触、省略运动学闭环和不可微模型上的不足。与面向特定任务的神经仿真器不同,NeRD 可作为 Newton 等物理引擎中的即插即用后端,让团队复用现有的策略学习流程。
NVIDIA Research 提出 R²D²,用三项神经突破改进机器人学习,目标是让机器人应对真实世界任务中的不可预测性、灵巧性与精细交互。当前机器人虽在受控环境中表现优异,但从装配精密部件到以类人精度操作日常物体,仍难以胜任真实部署。
NVIDIA Omniverse NuRec 与 3DGUT 可从简单传感器数据重建逼真 3D 场景,并即时部署到 Isaac Sim 或 CARLA Simulator。该方案将真实环境转为交互式仿真不再需要数天或数周,文中给出了真实世界数据采集的操作步骤。
NVIDIA 在 SIGGRAPH 2025 上宣布 Isaac Sim 5.0 和 Isaac Lab 2.2 正式开放,两个机器人仿真与学习框架现已在 GitHub 上提供。Isaac Sim 是基于 NVIDIA Omniverse 构建的参考应用,可用于在物理仿真环境中构建、训练和测试 AI 驱动机器人。
推荐理由:Isaac Sim 5.0 与 Isaac Lab 2.2 正式开放,读者可了解仿真与学习框架在 GitHub 上的可用状态。
NVIDIA Research 发布 R²D²,提出用世界基础模型(WFM)与配套工作流提升机器人训练。WFM 是经过训练、可基于真实环境动态模拟、预测并推理未来世界状态的生成式 AI 模型,用于应对物理 AI 系统对丰富标注数据日益增长的需求。文中提到 NVIDIA Cosmos 是相关平台。
Hugging Face 的 LeRobot 发布 v0.3.3,修复了策略构建问题,并引入面向 LeRobot 的通用处理器 pipeline。该版本还更新了安装说明与文档链接、修正作者姓名拼写,并将 torch 包版本改为向上取整约束。
NVIDIA 提出一种在机器人场景中构建数字孪生的方法,利用 NVIDIA Warp 与高斯泼溅让孪生体与真实世界实时持续同步。该孪生体可提供丰富的状态信息,用于支撑和增强相关能力。