ReImaGin：用图像生成模型为多模态 LLM 做视觉推理
Hugging Face 论文页介绍 ReImaGin，它把图像生成模型作为多模态 LLM 的灵活视觉推理机制，可接受自然语言指令执行去除遮挡、由多视角生成平面图等开放式视觉操作。在包含多视角空间推理与碰撞预测的六项视觉推理任务上，ReImaGin 持续优于纯文本推理和专用视觉工具基线，提升最高达 25%。
#世界模型
#世界模型
今日 0 条HF blogAI 评分2828 HF blog精选AI 评分6262 AnyStep-WAM：面向世界动作模型的预算对齐蒸馏与自适应推理
论文提出 AnyStep-WAM 框架，通过预算对齐的教师轨迹蒸馏训练区间条件流映射，支持从单步预测到多步细化的动作生成，并用轻量风险收益调度器按单步预览选择最小去噪预算。
推荐理由：论文给出可调去噪步数的世界动作模型框架，读者可了解按任务难度分配推理预算的具体做法与实测数据。
HF blog精选AI 评分6262 Sony 发布 FAR 世界模型配套 AI2-THOR 潜变量数据集
Sony 公开 FAR 世界模型配套的 AI2-THOR 潜变量数据集，用于训练和评测带动作条件检索记忆的潜扩散世界模型及其基线。
推荐理由：FAR 世界模型配套数据集公开了 AI2-THOR 潜变量语料与下载脚本，可了解其记忆评测如何构造。
HF blog精选AI 评分6565 EVO-WAM：通过视频动作验证演化世界动作模型
EVO-WAM 提出一种让世界动作模型（WAM）在无需额外专家示范、也不在外部环境执行候选动作的情况下适配新任务的框架，通过状态预测与锚定多帧上下文实现完整自回归 rollout，并用视觉语言模型筛选完成任务的前缀、用逆动力学模型验证视频与动作一致性，再迭代训练。
推荐理由：论文给出无需额外专家示范、靠自生成视频动作轨迹适配新任务的框架，并附仿真与真机成功率数据。
HF blogAI 评分4242 VideoPhysEdit：基于刚体物理场景重建的物理反事实视频编辑
Hugging Face 论文页发布 VideoPhysEdit，一种无需训练的物理反事实视频编辑（PCVE）流程，通过刚体物理场景重建显式还原场景物理，将物理编辑作为干预并利用生成轨迹引导反事实视频生成。
HF blog精选AI 评分8080 EWAM 发布统一具身模型：单一扩散 Transformer 联合处理视觉语言、未来视频与动作
EWAM 是一个统一具身模型，在单个 flow-matching Diffusion Transformer 中联合处理视觉语言、未来视频和动作 token，无需显式阶段设计即出现按深度分工：浅层从视觉语言专家取指令与当前场景语义，中层转向预测的未来帧表示，深层由动作自注意力主导做运动细化。
推荐理由：EWAM 把视觉语言、未来视频与动作 token 放进同一扩散 Transformer，并公开各阶段权重与下载方式，便于对照其分层分工与基准结果。
HF blogAI 评分4444 MiniMax-H3 能否推理物理世界？全模态生成模型评测
针对 MiniMax-H3 这类全模态生成模型，一项新评测考察其物理世界推理能力，在 517 个评测实例中整体成功率为 41.97%。其中基于视频的决策推理成功率最高，为 56.00%，基于音频的消歧推理最弱，仅 27.40%。评测设计了隐式提示配多帧、音频-图像、前缀视频和音视频四类任务，要求模型跨模态整合互补信息以推断潜在事件状态与未来动态。
HF blogAI 评分4141 World in World：用世界模型探索世界，免训练实现相机与时间控制
World in World 是一种免训练的推理时接口，让冻结的自回归视频世界模型支持灵活的相机与时间控制。它把源视频观测、目标视角场景投影、几何渲染和缓存外已生成状态等异构证据转为带相机与时间标签的干净视觉状态，通过原生自注意力读取，并用对应路由器和 EWA 逐通道调节注意力。同一冻结骨干可支持相机控制重渲染、长时程回访和人体动作迁移。
HF blogAI 评分4141 RCWM：用递归场景程序从单张图像构建复杂 3D 世界
Hugging Face 论文页介绍 Recursive Code World Models（RCWM），一种从单张参考图像以可执行代码递归重建复杂 3D 世界的框架。
HF blog精选AI 评分6262 论文提出 World Model RL，用世界模型加速自动研究智能体后训练
论文提出 World Model RL（WMRL），用学习到的世界模型替代环境执行，以缓解自动研究智能体强化学习后训练中环境执行成为瓶颈的问题。作者进一步引入 Online Debiasing 与 Inverse-Variance Denoising 分别抵消世界模型奖励的偏差与噪声，并从理论上证明两者严格改善收敛保证。
推荐理由：论文提出用世界模型替代环境执行来加速自动研究智能体的强化学习后训练，并给出理论收敛保证与跨任务迁移证据。
HF blog精选AI 评分6060 SyncWorld：视觉校准让世界模型成为零样本模拟器
Hugging Face 论文页介绍 SyncWorld，一种通过视觉校准让世界模型在未见相机、环境和本体上做上下文机器人世界建模的方法，无需下游训练。该方法以少量视觉交互作为上下文，尝试模拟机器人控制带来的视觉后果。
推荐理由：SyncWorld 提出用视觉校准让世界模型在未见相机与环境上做零样本仿真，读者可了解其免下游训练的思路。
HF blog精选AI 评分7474 ZimaBlue：通过可扩展视频预训练演进可泛化世界动作模型
ZimaBlue 提出从大规模自我中心视频学习可泛化世界动作模型（WAM）的三阶段训练方案，先在大规模人类与机器人自我中心视频上做因果具身视频预训练，再通过视频-动作中期训练将视觉动态对齐到异构机器人轨迹，最后针对目标机器人做专门化。
推荐理由：论文给出从大规模自我中心视频学习世界动作模型的三阶段方案，并报告零样本操作成功率随数据规模的变化。
HF blog精选AI 评分6262 H3-World：把语言理解变成世界控制，将 33B MiniMax-H3 视频生成器改造为交互式世界模型
H3-World 提出一个框架，把 33B 的 MiniMax-H3 视频生成器改造成交互式世界模型，将语言指令转为精确、时间对齐的角色与相机控制，且不引入专门的动作模块。
推荐理由：论文给出把 33B 视频生成器改造成交互式世界模型的具体路径，含样本量与可训练参数比例等关键条件。
DeepMind blogAI 评分2222 Google DeepMind 模型全景：Gemini、Genie 3、Gemini Robotics 2 等
Google DeepMind 集中列出其模型阵容，包括新一代前沿智能 Gemini、实时音频模型 Gemini Audio、视频生成模型 Veo、图像生成与编辑模型 Nano Banana。
HF blog精选AI 评分6262 Code-as-World：用可执行代码表示物理世界，为视觉语言模型提供物理推理监督
论文提出 Code-as-World，将物理环境的组成、动态演化和视觉外观表示为可执行代码，从而为视觉语言模型提供紧凑、可量化、可控的世界抽象。作者构建了受溯因推理启发的智能体发现循环，让智能体提出、执行、渲染、验证并迭代改进可执行世界假设，并用验证后的可执行世界为定量物理推理训练提供可扩展监督。
推荐理由：论文提出用可执行代码表示物理世界，为视觉语言模型提供可扩展的物理监督，读者可了解其智能体发现循环与基准表现。
HF blogAI 评分1515 Magpie：面向交互式游戏的实时世界渲染器
Hugging Face 论文页上线 Magpie，一个面向交互式游戏的实时世界渲染器。该页面目前仅开放论文讨论，未披露模型规模、渲染帧率或真机部署等细节。
HF blogAI 评分2424 Agentic Game Development 作为可验证轨迹数据引擎：为世界模型扩展提供数据
论文提出将智能体游戏开发用作可验证的轨迹数据引擎，以扩展世界模型训练数据。作者质疑"不崩溃"作为奖励信号的价值：能编译运行的游戏未必在第一关之后保持连贯，基于"未崩溃"奖励的强化学习会优化出平淡安全的场景。真正的问题是这种信号能否带来空间一致性，生成轨迹需经人类试玩检验，而非仅通过运行时检查。
HF blogAI 评分4848 GameWAM：面向视频游戏的世界动作模型
Hugging Face 论文页发布 GameWAM，一个面向原生视频游戏控制的统一世界动作模型，通过块因果流匹配、模式特定分布和块循环重规划，联合预测未来画面与可执行键鼠动作。实验显示其任务成功率具竞争力，且执行的原生动作数少于对比智能体；研究还发现低频动作源印记（LASI）这一生成控制的源敏感失效模式。
HF blog精选AI 评分6262 PAWBench：当前视频生成模型距离概率对齐的世界模型还有多远
论文提出概率对齐这一分布层面的世界模型要求，并发布 PAWBench 基准与 PAWEval 协议，把重复生成的视频 rollout 转成物理行为的经验分布。在 50 个场景和 11 个现有系统上，没有模型能同时稳定匹配参考概率并覆盖有效行为范围。作者随后测试语言提示、初始噪声采样和模型训练能否改变模型的预测分布。
推荐理由：论文把世界模型评估从单条视频合理性推进到行为分布层面，并给出 PAWBench 与 PAWEval 的具体评测协议。
DeepMind blogAI 评分2727 DeepMind 发布《视觉通用智能》白皮书：视觉经验能否通向 AGI
Google DeepMind 发布白皮书《Visual General Intelligence》，探讨以视觉为中心、从图像、视频和几何等模态的学习中能否涌现出通向 AGI 的智能，并将其称为视觉通用智能（VGI）。白皮书由多位不同机构作者共同撰写，目标不是给出视觉智能的唯一定义，而是厘清 AGI 时代计算机视觉应追求的原则、视觉输入模态、基准、学习范式，以及视觉作为核心与语言等其他模态的关系。
HF blog精选AI 评分7171 τ_0-VLA：世界模型引导测试时计算的分层机器人基础模型
τ_0-VLA 是一个分层视觉语言动作模型，把高层子任务生成建模为可扩展算力的推理问题，通过世界模型引导的测试时计算在需要时搜索备选子任务再输出。高层策略利用执行记忆生成子任务，低层策略在多种机器人本体上执行，模型基于 40,115 小时异构真实数据与多模态联合训练。在域内和分布偏移设置下，增加测试时计算量可提升下一子任务预测准确率，并转化为长时程操作任务的闭环成功率提升。
推荐理由：论文提出用世界模型引导的测试时搜索为高层子任务决策分配更多算力，并给出跨本体与分布偏移下的闭环结果。
HF blogAI 评分3030 ForgeWM：面向少步动作条件视频世界模型的渐进式因果训练
Hugging Face 论文页发布 ForgeWM，一种面向少步动作条件视频世界模型的渐进式因果训练方法。该页面目前仅开放论文讨论，未披露模型规模、任务本体、成功率或推理时延等具体结果。
NVIDIA dev blog robotics精选AI 评分6060 NVIDIA 发布 Cosmos 3 Edge，面向端侧机器人控制的后训练世界模型
NVIDIA 发布 Cosmos 3 Edge，这是 Cosmos 3 系列中的 4B 全模态模型，并配有基于 Nemotron 的 2B 推理器。原文指出机器人需要能适应自身传感器、环境和任务、同时运行在机载计算硬件上的策略，而世界模型虽然为学习物理交互提供了基础，但其体积会让端侧部署变得困难，Cosmos 3 Edge 正是针对这一问题。
推荐理由：NVIDIA 公布 Cosmos 3 Edge 的 4B 参数与 2B 推理器配置，读者可了解世界模型在机载硬件上部署的取舍。
NVIDIA blog robotics精选AI 评分7878 NVIDIA 发布 Cosmos 3 开放世界基础模型家族
NVIDIA 发布 Cosmos 3 开放物理 AI 世界基础模型家族，基于 mixture-of-transformers 架构，同时支持视觉推理、世界生成与动作预测。
推荐理由：Cosmos 3 以开放权重和三种规模覆盖世界生成与动作预测，读者可据此判断物理 AI 团队如何做后训练与部署。
HF blog精选AI 评分7171 WorldCycle：用可逆动作循环自监督强化学习训练长时程视频世界模型
WorldCycle 提出用可逆动作循环作为可自验证的强化学习信号，无需真值轨迹，将长时程状态回归漂移最多降低 44%，复合动作准确率提升近 4 倍。作者指出 WorldPlay、WorldCompass 等基线存在空间闭合失败与时间一致性失败，且短时程奖励无法察觉。团队同时发布 CycleBench，覆盖短、中、长时程的可逆、重复与复合循环，用于把视频世界模型当作模拟器评测。
推荐理由：作者把可逆动作循环当作无需真值轨迹的自监督信号，并公开 CycleBench，读者可据此理解长时程视频世界模型的漂移评测方式。
HF blog精选AI 评分7171 MiniWorld：从零训练视频世界模型的可复现框架
MiniWorld 是一个从零训练流式视频世界模型的可复现框架，采用块因果视频扩散 Transformer，在预训练 Video VAE 的潜空间中以 Flow Matching 训练，并基于 Diffusion Forcing 使用分块非递减噪声调度和两阶段继续训练。
推荐理由：MiniWorld 给出从零训练流式视频世界模型的完整方案与代码，读者可据此评估单机 8 卡复现的可行性。
HF blogAI 评分3838 ST-WAM：面向视觉分布偏移下鲁棒操作的语义-时序世界动作模型
Hugging Face 论文页发布 ST-WAM，一个面向视觉分布偏移下鲁棒操作的语义-时序世界动作模型。该模型将语义与时序信息引入世界动作模型，用于提升操作任务在视觉分布变化下的鲁棒性。论文页未给出更多实验数据与真机结果细节。
HF blogAI 评分2121 Hugging Face 论文页：Quo Vadis, World Modeling?
Hugging Face 上线论文《Quo Vadis, World Modeling?》的讨论页面，邀请社区就该论文参与讨论。原文未披露论文的具体方法、模型或实验数据。
NVIDIA dev blog roboticsAI 评分2020 超越 VLA：世界动作模型如何重塑机器人操作
NVIDIA 提出世界动作模型（World Action Models），用于解决机器人策略泛化难题：仅在训练场景成功的策略，在物体形状、位置或光照变化时往往失效。该模型让策略理解任务背后的物理规律，而非单纯模仿示范，这一能力来自其骨干网络。
NVIDIA dev blog roboticsAI 评分5858 NVIDIA 发布 Alpamayo 2 Super 开源推理视觉模型
NVIDIA 发布 Alpamayo 2 Super，这是一个 340 亿参数的开源推理视觉模型，用于自动驾驶开发。原文指出，以往轨迹生成、高层意图预测、场景理解和数据标注往往依赖彼此独立的模型，导致相关输出难以比较、模型行为难以排查、表示也难以在开发流程中复用；Alpamayo 2 Super 将这些能力整合到同一模型中。
HF blog精选AI 评分6262 SG-WAM：在几何感知策略空间中自引导世界建模
SG-WAM 提出在策略表征空间内学习几何感知、动作条件化的动力学，用自引导潜在预测和几何监督训练，无需大规模预训练。基于 0.9B 模型，它在 LIBERO 上取得 98.5% 平均成功率、LIBERO-Plus 上 73%，并在分布内和分布外真机评测中优于强基线。方法将潜在未来预测、几何接地与流匹配动作生成端到端联合优化。
推荐理由：论文提出在策略表征空间内做几何感知的世界建模，并给出 LIBERO 与真机评测结果，可供关注世界模型与操作策略训练的读者参考。
HF blog精选AI 评分6262 论文提出具身操作数据金字塔，梳理五类数据来源与数据配方
论文《Data Pyramid for Embodied Manipulation》将具身机器人学习数据组织为五类互补来源的金字塔，包括真实机器人数据、UMI 风格数据、第一人称与第三人称视角数据、仿真数据和通用视觉语言数据。
推荐理由：论文把具身数据来源整理成五层金字塔，并梳理各类数据配方与基础模型能力之间的对应关系。
HF blog精选AI 评分7474 NVIDIA 发布 Cosmos-H-Dreams 实时生成式手术机器人仿真器
NVIDIA 发布 Cosmos-H-Dreams，一个动作条件驱动的实时生成式手术机器人仿真器，由 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型，并通过 FlashDreams 推理库在单张 RTX PRO 6000 上运行。
推荐理由：原文给出从离线世界模型到实时交互仿真的蒸馏与推理链路，可了解手术机器人策略评估环境的构建方式。
HF blogAI 评分5454 Apple-π 发布以物理定律为锚的视频模型基准
Apple-PI 提出一个以物理定律为锚的基准，用分阶段推理评测诊断视频生成模型在模拟经典力学时的失效位置。该基准包含 Orchard 数据集，覆盖经典力学十类典型任务的 400 段视频，区分单定律与多定律任务；评测协议分感知、公式化、演绎三阶段，采用链式帧提示，并将生成视频视为模型的可见推理轨迹。
HF blog精选AI 评分6060 AlayaWorld：长时程可交互视频世界生成框架开源
AlayaWorld 是一个开源全栈框架，用于构建可实时交互的生成式世界，支持自由导航及战斗、施法、召唤怪物等多样动作。该框架统一了数据准备、模型架构、训练、推理加速与部署，并开源可复现管线、参考实现、评测工具与文档。论文称其基于游戏录像和真实视频训练，可捕捉多样视觉外观与物理动态，为游戏之外的具身智能等交互应用提供机会。
推荐理由：论文给出可复现的视频世界模型全栈框架，读者可了解其模块化架构与开源管线如何支撑实时交互生成。
HF blog精选AI 评分7171 RynnWorld-Teleop：面向数字遥操作的动作条件世界模型
论文提出 RynnWorld-Teleop，一种动作条件世界模型，用生成式世界模型替代实体机器人实现数字遥操作，将操作者手部姿态流转化为机器人视角的高保真视频，并作为与本体无关的动作标签经重定向迁移到任意目标机器人。
推荐理由：论文提出用生成式世界模型替代实体机器人采集数据，读者可了解数字遥操作如何解耦硬件约束并生成可迁移轨迹。
HF blog精选AI 评分7171 RynnWorld-4D：面向机器人操作的 4D 具身世界模型
RynnWorld-4D 是一个多模态 4D 世界模型，可从单张 RGB-D 图像和语言指令出发，在统一扩散过程中同步生成未来的 RGB 帧、深度图和光流。其三分支架构结合跨模态注意力与逐帧 3D RoPE，并配套超过 2.544 亿帧的 Rynn4DDataset 1.0 数据集。
推荐理由：论文提出用同步 RGB、深度与光流构建 4D 世界模型，并给出策略头与大规模数据集，可供世界模型与操作研究者参考。
HF blogAI 评分5858 ACID：用逆动力学动作一致性改进世界模型规划
ACID 提出在世界模型决策时规划中加入循环动作一致性代价：用逆动力学模型推断每个预测状态转移背后的动作，其与条件动作的偏差作为逐步规划代价。该方法在四个世界模型和六个任务上改善了规划效果，并显著减少了计算量。
HF blog精选AI 评分8888 LeRobot v0.6.0 发布：世界模型策略、新 VLA 与奖励模型 API
LeRobot v0.6.0 发布，引入 VLA-JEPA、LingBot-VA、FastWAM 三个世界模型策略，以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等新 VLA 和 Robometer、TOPReward 奖励模型 API。
推荐理由：LeRobot v0.6.0 一次放出世界模型策略、多个 VLA 与奖励模型 API，读者可据此判断开源机器人学习栈的能力边界。
NVIDIA dev blog roboticsAI 评分2020 从预训练想象到微调行动：世界动作模型（WAM）的崛起
NVIDIA 提出世界动作模型（WAM）概念，指从预训练世界模型或视频模型出发、再微调为机器人策略的一类模型，与从 VLM 骨干起步的 VLA 形成对照。文中以 Pi-0 和 GR00T N1 作为 VLA 的代表案例。