跳到正文

#仿真/Sim2Real

今日 1 条
今天10月1日周四
  1. genesis releases22

    Genesis v1.4.3 发布:提升 GPU 仿真速度并降低显存占用

    Genesis 发布 v1.4.3,重点提升 GPU 上非批处理至中等批量(约 4000)的仿真速度并全面降低显存占用,Windows 上编译速度最高提升至 3 倍。该版本还修复了 glTF 解析、MJCF 材质纹理保留、Apple Metal 性能模式编译失败、IMU 读数记录与相机外参更新等多项问题,并升级至 Quadrants 1.3.3。

9月30日周三
  1. HF blog65

    EVO-WAM:通过视频动作验证演化世界动作模型

    EVO-WAM 提出一种让世界动作模型(WAM)在无需额外专家示范、也不在外部环境执行候选动作的情况下适配新任务的框架,通过状态预测与锚定多帧上下文实现完整自回归 rollout,并用视觉语言模型筛选完成任务的前缀、用逆动力学模型验证视频与动作一致性,再迭代训练。

    推荐理由:论文给出无需额外专家示范、靠自生成视频动作轨迹适配新任务的框架,并附仿真与真机成功率数据。

9月29日周二
  1. HF blog60

    strands-robots 用 Isaac Lab 训练宇树 Go2 并录制 LeRobot 数据集

    strands-robots 通过 isaaclab train_policy provider 在 Isaac Lab 中训练宇树 Go2 四足机器人 PPO 策略,4096 个并行环境、1500 次迭代、147M 环境步,在单张 NVIDIA L40S 上耗时 57 分 39 秒,速度跟踪成功率 0.98。

    推荐理由:原文给出从 Isaac Lab 训练 PPO 策略到录制 LeRobot v3 数据集的完整命令与验证流程,可迁移到其他机器人任务。

  2. HF blog62

    strands 发布 Isaac Lab Shadow Hand 手中方块重定向 PPO 策略

    cagataydev 在 Hugging Face 发布 strands-isaaclab-shadow-reorient-policy,这是用 strands-robots 的 isaaclab train_policy provider(PR #4227)训练的 rsl_rl PPO 策略,任务为 Isaac-Reorient-Cube-Shadow 手中方块重定向。

    推荐理由:读者可据此了解用 strands 工具链在 Isaac Lab 中训练并导出 Shadow Hand 转方块策略的完整流程与实测指标。

9月28日周一
9月26日周六
9月24日周四
  1. genesis releases22

    Genesis v1.4.2 发布:通过休眠机制提升大规模场景性能

    Genesis 发布 v1.4.2,通过休眠机制让休眠岛屿不再产生运行时开销,并加速了启用休眠的刚体仿真与大规模接触岛屿的 GPU 刚体求解器。该版本还改进了 Signorini 接触求解的收敛性,但因收敛问题仍属实验性功能。此外修复了约束求解退出时阻尼关节注入能量的问题,并暴露场景步进各阶段的墙钟时间。

9月23日周三
9月22日周二
  1. NVIDIA blog robotics78

    NVIDIA 发布 Isaac ROS 5.0,支持 ROS Lyrical 与 agentic 开发工作流

    NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,新增对 ROS Lyrical 和 Ubuntu 24.04 的支持,并引入面向 AI agent 的 setup、manipulation 等可复用技能与 agent-ready 文档。

    推荐理由:Isaac ROS 5.0 的 agentic 工作流与 ROS Lyrical、Ubuntu 24.04 支持,为开发者提供了从开发到 Jetson 部署的完整路径参考。

9月21日周一
  1. HF blog62

    Learning Foresight without Explicit Trajectories for 3D Diffusion Policies 论文发布

    论文提出 Movement Trend Guidance,让 3D 扩散策略从短观测历史中学习交互演化的紧凑隐表示,训练时用稀疏未来夹爪状态监督,推理时仅保留该隐表示作为未来导向条件。

    推荐理由:论文提出 Movement Trend Guidance,用隐变量为 3D 扩散策略提供交互走向的前瞻信息,并给出多基准对比数据。

9月17日周四
  1. IsaacLab releases78

    Isaac Lab 3.0 早期访问版发布,支持多后端与无 Kit 运行

    Isaac Lab 3.0 Early Access 发布,引入工厂式多后端架构,物理、渲染与可视化可分别选择 isaacsim_physx、ovphysx、newton_mjwarp 等配置,并支持不安装 Isaac Sim 的无 Kit 工作流。

    推荐理由:Isaac Lab 3.0 早期访问版把物理、渲染与可视化拆成可切换后端,并给出 2.x 到 3.0 的迁移清单,便于评估现有训练流程的改动量。

9月13日周日
  1. genesis releases30

    Genesis v1.4.1 发布:大幅提升大规模场景 CPU/GPU 性能

    Genesis 发布 v1.4.1,重点提升大规模场景下 CPU 与 GPU 的性能,速度随岛屿数量呈亚线性下降,不平衡场景的 Jacobi 均衡开销大幅降低,接触密集场景在 CPU 上明显加速。新版本支持不含 joint2 的 MJCF 关节等式,并修复 glTF 归一化整数访问器解码、法线与纹理坐标保留、MJCF 关节执行器力范围等问题。

9月12日周六
9月11日周五
  1. NVIDIA blog robotics71

    Skild AI 发布 S1 机器人基础模型,单段视频即可学习新任务

    Skild AI 发布 S1 机器人基础模型,可用单段视频演示作为提示,在不更新权重、不做任务专项后训练的情况下执行此前未见的长程任务,最长约 10 分钟,涵盖装盆、做煎饼、手冲咖啡和套件装配等。

    推荐理由:S1 用单段视频提示完成长程任务且不更新权重,读者可据此判断免重训部署路径的可行边界。

9月10日周四
  1. HF blog60

    SyncWorld:视觉校准让世界模型成为零样本模拟器

    Hugging Face 论文页介绍 SyncWorld,一种通过视觉校准让世界模型在未见相机、环境和本体上做上下文机器人世界建模的方法,无需下游训练。该方法以少量视觉交互作为上下文,尝试模拟机器人控制带来的视觉后果。

    推荐理由:SyncWorld 提出用视觉校准让世界模型在未见相机与环境上做零样本仿真,读者可了解其免下游训练的思路。

9月9日周三
  1. mujoco releases38

    MuJoCo 3.13.0 发布:新增 discrete 积分器与 Python 3.15 支持

    MuJoCo 3.13.0 发布,新增 discrete 积分器,将约束求解与隐式速度更新合并为一步,使被动弹簧和执行器位置增益在远超显式稳定极限的时间步下保持稳定。该版本还新增 Python 3.15(GIL 与自由线程)支持、站点几何关联网格、传感器 cutoff 属性,并移除 implicit/implicitfast 下 flex 有效度量的特例,相关模型需改用 discrete 积分器。

9月7日周一
  1. genesis releases36

    Genesis v1.4.0 发布:支持场景与轨迹导出为独立归档并位精确回放

    Genesis 发布 v1.4.0,支持将场景连同完整轨迹导出为独立归档,可在任意机器上通过 gs replay 实现位精确回放,目前仅支持刚体求解器。该版本还新增在内存中保存与恢复已构建场景、在连杆任意局部点施加外部力旋量,并修复了大量与资产解析相关的缺陷。

9月3日周四
9月1日周二
  1. HF blog45

    MineAmongUs:VLM 智能体在具身社交互动中的言语与非言语欺骗

    Hugging Face 论文提出 MineAmongUs——一个 3D 多模态 Among Us 沙盒,内鬼智能体需通过言语与非言语动作联合欺骗船员,并配套可配置的 VLM 智能体框架 ARIA,暴露五个认知组件消融轴。实验显示 VLM 智能体依靠言语与非言语联合欺骗取胜,非言语通道在框架消融和跨 VLM 评估中都是更关键的获胜因素。

8月29日周六
8月27日周四
8月21日周五
  1. HF blog62

    GOAG:面向灵巧操作的生成式物体无关抓取规划器

    GOAG 是一种物体无关的深度生成式抓取规划器,学习特定夹爪的接触面分布,无需物体特定训练数据即可为未见物体采样有效抓取。作者在仿真与真实场景的抓取协议上验证该方法,在 MultiDex 数据集上取得 86.93% 的平均成功率,生成大量抓取时处理速度明显更快,性能与专门在该数据集上训练的方法相当。代码与视频见项目网站 https://cea-list.github.io/goagweb/。

    推荐理由:论文提出与物体无关的抓取规划思路,读者可了解其如何用夹爪接触面分布替代物体特定训练数据。

8月20日周四
8月19日周三
  1. HF blog78

    NeDM Study 4 数据集发布:宇树 Go2 在 CRM 颗粒地形上的神经降维动力学复现材料

    Hugging Face 上发布 NeDM Study 4 数据集,包含宇树 Go2 在 Chrono CRM 颗粒地形(SPH 颗粒土壤)上行走的语料、训练好的神经降维代理模型。

    推荐理由:论文配套数据集公开了宇树 Go2 在颗粒地形上的语料、代理模型与微调策略,可复现其仿真到真实迁移流程。

8月13日周四
8月8日周六
8月5日周三
  1. HF blog71

    MiniWorld:从零训练视频世界模型的可复现框架

    MiniWorld 是一个从零训练流式视频世界模型的可复现框架,采用块因果视频扩散 Transformer,在预训练 Video VAE 的潜空间中以 Flow Matching 训练,并基于 Diffusion Forcing 使用分块非递减噪声调度和两阶段继续训练。

    推荐理由:MiniWorld 给出从零训练流式视频世界模型的完整方案与代码,读者可据此评估单机 8 卡复现的可行性。