跳到正文

#数据/训练

今日 4 条
9月28日周一
  1. HF blog22

    ngustj/pen_pick_place_clean_150ep_v1:基于 LeRobot 的 150 回合抓笔放置数据集

    Hugging Face 上线数据集 ngustj/pen_pick_place_clean_150ep_v1,用 LeRobot 采集,共 150 个回合、71019 帧,30 fps,机器人类型为 so_follower。该数据集含 1 项任务,动作与状态均为 6 维关节位置,另配 top 和 wrist 两路 480×640 视频,采用 v3.0 代码库格式,训练集覆盖全部 150 个回合。

9月27日周日
  1. HF blog62

    FINGR 发布灵巧手魔方操作演示数据集

    FINGR 发布面向真实魔方操作的灵巧手演示数据集,包含 36 条遥操作序列、576 次转面和 25,520 帧 10 Hz 数据,采集自 xArm7 与 Sharpa Wave 手。数据以 LeRobot v3 格式提供关节状态与指令、五指触觉力和视频、魔方几何跟踪及转面标注,论文用其中 435 次转面(18,113 帧)做动作训练、24,943 帧做未来预测。

    推荐理由:数据集给出了遥操作序列、触觉力与转面标注的完整字段,可了解灵巧手魔方操作的数据组织方式。

9月26日周六
9月25日周五
9月24日周四
9月22日周二
  1. HF blog75

    理想发布 ME-U0 预训练机器人策略权重

    理想在 Hugging Face 发布 ME-U0 预训练权重,用于下游机器人策略后训练,采用 Apache 2.0 许可。页面给出 hf download 命令与 ME_U0_PRETRAINED_PTH 环境变量设置,并指向后训练说明;RoboDojo 评测需使用 ME-U0-RoboDojo。

    推荐理由:读者可据此了解 ME-U0 预训练权重的下载方式、下游策略后训练用途与 Apache 2.0 许可。

9月21日周一
  1. HF blog62

    Learning Foresight without Explicit Trajectories for 3D Diffusion Policies 论文发布

    论文提出 Movement Trend Guidance,让 3D 扩散策略从短观测历史中学习交互演化的紧凑隐表示,训练时用稀疏未来夹爪状态监督,推理时仅保留该隐表示作为未来导向条件。

    推荐理由:论文提出 Movement Trend Guidance,用隐变量为 3D 扩散策略提供交互走向的前瞻信息,并给出多基准对比数据。

9月20日周日
9月18日周五
  1. HF blog45

    FAMOS:从稀疏观测进行前馈 3D 关节建模

    Hugging Face 论文页发布 FAMOS,一个从稀疏无序部分点云预测可动部件分割与关节参数的前馈模型,支持包括单视图在内的可变数量输入。它提出 Multi-state Articulation Transformer,以交替的状态级与全局注意力聚合多观测关节线索,并引入观测关节跨度目标监督各部件在输入观测中的运动范围。

9月17日周四
  1. IsaacLab releases78

    Isaac Lab 3.0 早期访问版发布,支持多后端与无 Kit 运行

    Isaac Lab 3.0 Early Access 发布,引入工厂式多后端架构,物理、渲染与可视化可分别选择 isaacsim_physx、ovphysx、newton_mjwarp 等配置,并支持不安装 Isaac Sim 的无 Kit 工作流。

    推荐理由:Isaac Lab 3.0 早期访问版把物理、渲染与可视化拆成可切换后端,并给出 2.x 到 3.0 的迁移清单,便于评估现有训练流程的改动量。

9月11日周五
  1. HF blog33

    SpatialBlock:用合成积木堆叠任务提升 LVLM 空间智能

    研究者提出 SpatialBlock,通过合成积木堆叠任务提升大型视觉语言模型(LVLM)的 3D 空间推理能力。其构建的 SpatialBlock-15k 数据集包含 15,000 个积木堆叠问题,覆盖 3D 到 2D 投影、视角变换和结构组合,并加入受控颜色调制作为视觉线索。实验显示,用该数据集训练的 LVLM 在直接回答和基于推理的预测两种方式下均显著优于基线,并能泛化到真实世界空间任务。

  2. HF blog62

    论文提出 World Model RL,用世界模型加速自动研究智能体后训练

    论文提出 World Model RL(WMRL),用学习到的世界模型替代环境执行,以缓解自动研究智能体强化学习后训练中环境执行成为瓶颈的问题。作者进一步引入 Online Debiasing 与 Inverse-Variance Denoising 分别抵消世界模型奖励的偏差与噪声,并从理论上证明两者严格改善收敛保证。

    推荐理由:论文提出用世界模型替代环境执行来加速自动研究智能体的强化学习后训练,并给出理论收敛保证与跨任务迁移证据。

  3. NVIDIA blog robotics71

    Skild AI 发布 S1 机器人基础模型,单段视频即可学习新任务

    Skild AI 发布 S1 机器人基础模型,可用单段视频演示作为提示,在不更新权重、不做任务专项后训练的情况下执行此前未见的长程任务,最长约 10 分钟,涵盖装盆、做煎饼、手冲咖啡和套件装配等。

    推荐理由:S1 用单段视频提示完成长程任务且不更新权重,读者可据此判断免重训部署路径的可行边界。

9月10日周四
  1. HF blog62

    用 HF Jobs 与 Storage Bucket 实现跨机 Async GRPO LoRA 训练

    Hugging Face 博客介绍如何用 AsyncGRPOTrainer 的 LoRA 适配器同步,在 HF Jobs 上把训练与 vLLM 推理拆到不同机器,通过挂载 Storage Bucket 传递几 MB 的 rank-1 适配器,无需 NCCL。

    推荐理由:原文给出跨机异步 GRPO 训练的可复用工程方案与五轮调优数据,读者可据此判断瓶颈定位与提速路径。