从海拉鲁到现实世界:视频模型如何理解「变化」
雷峰网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 与 MiniMax H3,考察意图规划、时间因果和音画对应。
雷峰网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 与 MiniMax H3,考察意图规划、时间因果和音画对应。
Hugging Face 上发布 fanqi-robo/molmoact2_insert_gear_in_gripper_base_fft,对 allenai/MolmoAct2 在 50 集双臂 YAM 插齿轮数据集上做全组件微调,global batch 32、20k 步、seed 1000,发布 step 20000 检查点。
fanqi-robo 在 Hugging Face 发布 π0.5 微调检查点 pi05_insert_gear_in_gripper_b0,基于 lerobot/pi05_base 在 50 集双臂 YAM 插齿轮数据集上全量微调,训练 20k 步、全局 batch 32、lr 2.5e-5,采用 QUANTILES 归一化与绝对关节、3 路相机、无图像增强。
Hugging Face 上发布 fanqi-robo/molmoact2_insert_gear_in_gripper_yam_fft,基于 allenai/MolmoAct2-BimanualYAM 检查点在双臂 YAM 数据上做全参数微调。
Hugging Face 上 fanqi-robo 发布 π0.5 微调消融实验 insert_gear_in_gripper 的 expert_only 变体。
Shivansh Inamdar 在 Nimble Robotics 负责机器人操作软件层,主导抓取、移动与放置决策,并参与所有主要零售商部署。Nimble 称其技术已处理数百万件服装、鞋类、美妆、电子和快消品。2024 年公司与 FedEx 达成战略合作,10 月宣布由 FedEx 领投的 1.06 亿美元 C 轮融资,估值 10 亿美元。
基于 lerobot/smolvla_base 微调的 SmolVLA 策略 mongster7/smolvla_dice_50k 在 LeKiwi 移动机械臂上完成"把红色骰子放进篮子"任务。
量子位ROBO梳理A股和港股至少36家已上市机器人相关公司,按整机应用与系统部件各18家分类,对比其机器人业务收入与盈利表现。优必选2025年收入约20.01亿元,全尺寸具身智能人形机器人产品及解决方案收入约8.21亿元、占比约41.0%,2026年上半年升至46.5%;宇树2025年营收约16.99亿元,人形机器人约8.68亿元、占比约51.1%。
Hugging Face 上出现由 LeRobot 生成的 UR5e 螺母装配数据集,含 100 条 episode、24602 帧、1 个任务,机器人类型为 ur5e。数据以 20 fps 采集,动作维度 7、状态维度 9,配两路 84×84 视频,采用绝对动作与 OSC_POS 控制,训练集划分 0:100。
SAKI 是一个连接人类视频技能获取、跨示范组装与闭环全身执行的框架,用于长时程移动操作。它准备以物体为中心的可复用技能,在给定目标和任务依赖时选择并排序技能、把物体角色绑定到当前场景,并在技能间传递场景估计与机器人构型;全身运动学模仿生成协调的底盘、手臂与夹爪运动。
推荐理由:论文提出从人类视频组装可复用技能并做全身运动学模仿,读者可了解长时程移动操作的一种组合式思路。
SCOUT 是一个动力学感知的元学习框架,通过共享信念隐空间把动作预测策略与前向动力学模型耦合,让操作策略在部署时依据动作-结果偏差在线更新内部信念,从而适应未知物理动力学。论文称该方法在仿真操作基准上显著加快在线自适应,并实现了真实世界的仿真到真实迁移,已被 CoRL 2026 接收。
推荐理由:提出用动作-结果反馈在线更新动力学信念的元学习框架,读者可了解测试时自适应如何绕开稀疏奖励。
Hugging Face 上发布 ResidentEvian/hf_act_recordpolicy0,这是一个用 LeRobot 0.6.2 训练的 ACT(Action Chunking with Transformers)模仿学习策略,机器人类型为 so_follower,输入 6 维状态与 480×640 前视图像,输出 6 维动作。
Hugging Face 上线 nakanakagawa/sponge_task_9_30_v2 数据集,由 LeRobot 生成,机器人类型为 so_follower,共 6 条 episode、2395 帧、1 个任务,帧率 20 fps,采用 codebase_version v3.0。
Hugging Face 上出现名为 emmanuel-v/policy_2026-09-30_shake_it_up_on_cart_100kHz_nfft4096 的模型条目,名称包含 100kHz 与 nfft4096 等参数标识。该条目页面未提供更多模型细节,仅附有 Hugging Face 推进人工智能开源与开放科学的使命说明。
Hugging Face 上线数据集 ujheo/pen6_20260930_173022,由 LeRobot 生成,采用 v3.0 数据格式,机器人类型为 so_follower。该数据集含 5 个 episode、3191 帧、1 个任务,以 30 fps 记录 6 自由度动作与状态,并配 front、top 两路 480×640 AV1 视频。
ECHO-G 发布,可从语音和文本生成宇树 G1 的全身动作,所有模型输出 39 通道机器人运动,帧率 30 FPS。代码版本 v0.2.0,提供音频加文本、纯音频、纯文本及 HumanRetarget 多组权重,新输入支持最长 20 秒或 600 帧、256 个文本 token,更长输入需先分段。
推荐理由:ECHO-G 开源了从语音和文本生成宇树 G1 全身动作的模型权重与推理流程,读者可据此了解输入规格与复现入口。
论文提出 AnyStep-WAM 框架,通过预算对齐的教师轨迹蒸馏训练区间条件流映射,支持从单步预测到多步细化的动作生成,并用轻量风险收益调度器按单步预览选择最小去噪预算。
推荐理由:论文给出可调去噪步数的世界动作模型框架,读者可了解按任务难度分配推理预算的具体做法与实测数据。
Hugging Face 上线 jevhome-L-int8,这是 jevhome-L 的动态 int8 量化版本,约 396M 参数,可在普通 CPU 上单次前向返回校准概率,速度更快且体积约为原来的 1/4。
Hugging Face 上线 jevhome-ettin-1b,一个约 1.0B 参数、fp32 的类型化决策模型,可对状态给出是/否、单选或分级问题,并在一次前向传播中返回校准概率,纯 CPU 即可运行。
Hugging Face Hub 上线 karrlleereal/omx_act_policy5,这是一个用 LeRobot 训练并推送的 ACT(Action Chunking with Transformers)模仿学习策略,从遥操作数据中学习、预测短动作块而非单步动作。
Hugging Face 上发布 ssdunit/act_abc_sim_lego_sorting_100k,这是一个用 LeRobot 0.6.1 训练的 ACT 模仿学习策略,任务为 lego_blocks_sorting。
Hugging Face 上公开的论文 EpiCon 提出一种共享多模态记忆框架,让不同智能体在不更新宿主模型参数的情况下复用彼此经验。它由两个独立训练的 2B 模型组成:记忆控制器与树状自组织器,分别负责跨尝试精炼文本引导与视觉证据、分层整合经验并检索规则。
Hugging Face 上出现一个用 LeRobot 训练并推送至 Hub 的 ACT(Action Chunking with Transformers)模仿学习策略,它从遥操作数据学习,预测短动作块而非单步动作。该策略采用 apache-2.0 许可,可用 lerobot-train 从零训练,并用 lerobot-record 配合 so100_follower 机器人本体运行推理与评估。
Sony 公开 FAR 世界模型配套的 AI2-THOR 潜变量数据集,用于训练和评测带动作条件检索记忆的潜扩散世界模型及其基线。
推荐理由:FAR 世界模型配套数据集公开了 AI2-THOR 潜变量语料与下载脚本,可了解其记忆评测如何构造。
EVO-WAM 提出一种让世界动作模型(WAM)在无需额外专家示范、也不在外部环境执行候选动作的情况下适配新任务的框架,通过状态预测与锚定多帧上下文实现完整自回归 rollout,并用视觉语言模型筛选完成任务的前缀、用逆动力学模型验证视频与动作一致性,再迭代训练。
推荐理由:论文给出无需额外专家示范、靠自生成视频动作轨迹适配新任务的框架,并附仿真与真机成功率数据。
CrossBFM 提出无机器人专属参数的统一编码器架构,借助重定向提供的帧级跨本体对应关系,将行为基础模型的潜空间蒸馏到多个训练本体上,耗时不到一 GPU 小时。
推荐理由:CrossBFM 把行为潜空间当作可迁移资产,用不到一 GPU 小时蒸馏出跨本体共享空间,读者可据此了解人形策略迁移的训练成本变化。
Hugging Face 上的 hotchpotch/s1mb-result 数据集收录 System One Mosaic Benchmark(S1MB)的模型评测结果,整合 Choice、Noul 和 Score 三类专项任务。
Hugging Face 论文 OmniTaskonomy 研究视觉生成监督何时能提升视觉理解,发现采用正确训练配方时,图生图(I2I)训练可提升下游图生文(I2T)性能,且 I2I 训练数据越多增益越大。
Hugging Face 发布 LeRF,让视觉语言模型在推理前显式确定提问所指的视角,必要时定位参考人或物体并预测其前、左、上方向,再用轻量工具在图像上画出坐标轴供模型作答。该方法通过监督微调学习坐标系预测与选择性工具调用,用强化学习学习基于自生成坐标系的推理,推理时无需外部感知模型或显式三维重建,在多个基准上提升了视角采择表现,包括想象视角问题。
Hugging Face 上线 SO-101 SimStudio Lab01 抓放数据集 v4(alexhegit/so101-simstudio-lab01-pnp-agent-yaw-v4),共 140 个 episode、67235 帧,20 fps、3 路 640×480 相机,状态为 15 维位置+速度+末端 XYZ。
EWAM 是一个统一具身模型,在单个 flow-matching Diffusion Transformer 中联合处理视觉语言、未来视频和动作 token,无需显式阶段设计即出现按深度分工:浅层从视觉语言专家取指令与当前场景语义,中层转向预测的未来帧表示,深层由动作自注意力主导做运动细化。
推荐理由:EWAM 把视觉语言、未来视频与动作 token 放进同一扩散 Transformer,并公开各阶段权重与下载方式,便于对照其分层分工与基准结果。
alexhegit 在 Hugging Face 发布 SO-101 Lab01 抓放任务的 ACT 策略检查点,基于 yaw-aware agent v4 数据集训练,仅使用 15 维 observation.state 中的前 6 维关节位置。
Hugging Face 上线数据集 ssmit203/assignment3_7,由 LeRobot 生成,机器人类型为 so101_follower,代码库版本 v2.1。该数据集含 30 条 episode、2058 帧、1 个任务,30 fps,动作与状态均为 6 维(肩部旋转/抬升、肘部、腕部弯曲/旋转、夹爪),另含 480×640 前置视频。
消费级具身智能公司诺因智能完成数亿元人民币天使+++轮融资,由京东相关基金领投,正心谷资本、南山战新投和华登投资跟投,成立以来累计融资超10亿元。资金将用于扩充GLOW生成式具身大模型训练数据、推进KNOWIN-X1本体工程验证与量产准备。GLOW在RoboDojo的18项仿真任务中平均成功率62.2%,在LIBERO-Pro以86.7%位列所列单策略模型第一。
Hugging Face 上线 nakanakagawa/sponge_task_9_29_v4 数据集,由 LeRobot 生成,机器人类型为 so_follower,共 8 条 episode、3192 帧、1 个任务,帧率 20 fps,采用 codebase_version v3.0。
Hugging Face Hub 上线 Tridex/model_act_3cam_resnet_100K_29_09_v2,这是一个用 LeRobot 0.6.2 训练的 ACT 模仿学习策略,面向 so_follower 机器人,配 front、side、top 三路摄像头,输入 6 维状态、输出 6 维动作。
Hugging Face 上线数据集 jetsonmom/omx_yellow_bear_box_2cam,由 LeRobot 生成,机器人类型为 omx_follower,含 20 条 episode、7043 帧、40 段视频,30 fps,动作与状态均为 6 自由度。
Hugging Face 上线 so-arm101-stack-green 数据集,由 LeRobot 生成,采用 codebase_version v3.0,机器人类型为 so_follower。数据集含 40 条 episode、32712 帧、1 个任务,30 fps,记录 6 自由度关节位置与前置、腕部两路 480×640 视频,全部划为训练集。
Hugging Face 上发布 strands-isaaclab-ant-131k-policy,这是用 rsl_rl PPO 在 Isaac Lab 的 Isaac-Ant 任务上训练的机器人策略,训练规模达 131,072 个并行环境。
Hugging Face 上线 nakanakagawa/sponge_task_9_29 数据集,由 LeRobot 生成,采用 v3.0 代码库版本,机器人类型为 so_follower。数据集含 4 条 episode、1596 帧、1 个任务,20 FPS,动作与状态均为 6 维关节位置,配 cam_0、cam_1 两路 480×640 视频。