跳到正文
原文
arXiv cs.RO· Zhiming Liu, Yikun Miao, Ying Chen, Hongrui Yin, Fangqi Zhu, Xiaoyi Pang, Quanxin Shou, Zhengyang Yan, Haodong Wang, Song Guo·· 3 小时前精选AI 评分66

WING:以交互中心频谱隐动作引导从第一人称视频学习机器人策略

World Action Learning via Interaction-Centric Spectral Latent Guidance

AI 导读

WING 提出一种从第一人称视频向机器人策略迁移交互知识的框架,先分离观察者自身运动与手物交互,再将交互中心成分蒸馏为隐动作,并在频谱域利用第一人称隐动作与机器人行为共享的低频成分引导动作生成。论文报告在 LIBERO 上平均成功率 99.20%、RoboTwin 2.0 上 93.80%、RoboCasa-GR1 上 57.7%,并在四个真实世界操作任务的多泛化设置下表现良好。

推荐理由

论文提出从第一人称视频提取交互中心隐动作并迁移到机器人策略,附三个基准与真机任务结果。

来源:arXiv cs.RO · arxiv.org