DrivingBench：视觉语言模型能否驾驶丰田卡罗拉
研究团队提出 DrivingBench，据其所述是首个要求通用视觉语言模型驾驶真车的基准，模型通过三个工具读取丰田卡罗拉的摄像头画面，直接控制转向与速度，在低速停车场锥桶路线中行驶。
推荐理由：读者可了解一个让通用视觉语言模型直接驾驶真车的基准设计，以及延迟与工具格式如何影响模型能否完成长程任务。
#评测/基准
#评测/基准
今日 3 条arXiv cs.RO精选AI 评分6666 arXiv cs.ROAI 评分5757 TrafficSignBench：面向交通标志合规的闭环评测基准
TrafficSignBench 是一个以交通标志为中心的大规模基准，用于系统且可解释地评测自动驾驶规划器的交通规则合规性。该框架结合真实地图仿真与规则定向的程序化场景生成，实现 34 类交通标志对应规则的自动违规检查，产出 29,000 个道路场景和 29 种测试场景类型，并构建 5,800 个测试场景。
HF blogAI 评分2424 Hugging Face 数据集 Jianguo-Huang11/APM-Bench
Hugging Face 上线数据集 Jianguo-Huang11/APM-Bench。该数据集页面未提供更多说明，仅附有 Hugging Face 推进开源与开放科学、推动人工智能民主化的使命表述。
leiphoneAI 评分5252 从海拉鲁到现实世界：视频模型如何理解「变化」
雷峰网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 与 MiniMax H3，考察意图规划、时间因果和音画对应。
leiphoneAI 评分3838 实测 GPT-6 Astra、Claude Fable 5.1 与 GPT-5.6 Sol 控制同一台云台机械臂：谁真正把活干完了？
同一台两轴云台机械臂、同一句"满行程转一遍"的模糊指令下，GPT-6 Astra Pro、Claude Fable 5.1 和 GPT-5.6 Sol 都让机器人转了起来，但对"完成"的理解完全不同。
HF blogAI 评分3838 Hugging Face 发布 Sys1Cal-v1 数据集：评估 Jev 等结构化概率输出的校准问题
Hugging Face 发布 Sys1Cal-v1 基准数据集，用于直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现，Noul 和 Score 的概率接近真实值，而二元 Choice 输出存在系统性非线性失真，可通过引入潜在第三分量 Uncertain 建模。数据集与评估代码已公开，支持在其他结构化决策模型上复现。
HF blogAI 评分1818 Hugging Face 数据集 hotchpotch/s1mb-result 收录 S1MB 评测结果
Hugging Face 上的 hotchpotch/s1mb-result 数据集收录 System One Mosaic Benchmark（S1MB）的模型评测结果，整合 Choice、Noul 和 Score 三类专项任务。
HF blogAI 评分4242 VideoPhysEdit：基于刚体物理场景重建的物理反事实视频编辑
Hugging Face 论文页发布 VideoPhysEdit，一种无需训练的物理反事实视频编辑（PCVE）流程，通过刚体物理场景重建显式还原场景物理，将物理编辑作为干预并利用生成轨迹引导反事实视频生成。
HF blogAI 评分1818 Sterzhang/video2skill-bench：Hugging Face 数据集
Hugging Face 上线数据集 Sterzhang/video2skill-bench，页面仅保留“以开源和开放科学推进 AI 民主化”的使命说明，未披露数据规模、任务类型或评测指标等细节。
qbitaiAI 评分6666 美梦空间联合索辰科技发布Physical-WAM世界动作模型与RoboTwin-Phys物理漂移评测基准
9月26日，杭州美梦空间在第五届全球数字贸易博览会上发布Physical-WAM物理-世界动作模型与RoboTwin-Phys物理漂移评测基准。Physical-WAM由PhysLens、PhysDream、PhysAct三个模块构成，在感知输入与动作输出之间插入物理Token表征，用于估计摩擦、重量、重心、接触状态等物理信息并预判动作后果。
qbitaiAI 评分7171 Robocurve 发布 RoboHarm 基准：GPT-6 Astra 在 97% 测试中尝试危险动作
第三方公益机构 Robocurve 发布机器人安全基准 RoboHarm，把 GPT-6 Astra、Fable 5.1 和 MolmoAct2 接入同一套双机械臂，测试刺向类人目标、加热压缩气体、制造有毒烟雾等五类物理风险任务，每任务每模型重复 20 次并由人工打分。
HF blogAI 评分4444 MiniMax-H3 能否推理物理世界？全模态生成模型评测
针对 MiniMax-H3 这类全模态生成模型，一项新评测考察其物理世界推理能力，在 517 个评测实例中整体成功率为 41.97%。其中基于视频的决策推理成功率最高，为 56.00%，基于音频的消歧推理最弱，仅 27.40%。评测设计了隐式提示配多帧、音频-图像、前缀视频和音视频四类任务，要求模型跨模态整合互补信息以推断潜在事件状态与未来动态。
HF blogAI 评分2626 SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究？
Hugging Face 上线论文页面 SAEScientist-Bench，提出用基准测试检验 AI 智能体能否自主完成 SAE 可解释性研究。该页面目前仅开放论文讨论，未披露任务设置、评测指标或实验结果等具体信息。
qbitaiAI 评分6060 李飞飞World Labs发布Atlas后，影溯开源世界模型InSpatio-World被指半年前已具备类似能力
World Labs于9月2日发布多模态世界模型Atlas，可将文字、图像、视频和3D信息放入统一空间上下文，实现三维场景重建与新视角生成。国内团队影溯早在今年3月已开源具备类似能力的InSpatio-World，其升级版本即将发布并继续开源。
HF blog精选AI 评分6060 DroneCATS 评测多模态 LLM 作为无人机视觉语言动作智能体
论文提出 DroneCATS-Agent 与 DroneCATS 基准，把多模态大模型直接放入无人机控制回路，动作空间仅由提示词声明，无需微调或函数调用模式。评测覆盖接近可见目标、跟踪移动目标、搜索视野外目标和多无人机编队指挥四项能力，模型规模下探到 2B。
推荐理由：DroneCATS 把多模态模型直接放进无人机控制回路，用四类任务对比前沿与 2B 小模型，可看到空间感知与动作协议之间的落差。
HF blogAI 评分3838 论文：评估许可证意味着什么？Inspect Evals 中声明可复现性的提交绑定普查
一项提交绑定普查发现，Inspect Evals 的 124 个评估中有 110 个无法复现到其对应的声明，在确定性推理之前就已中断。论文认为，若评估未绑定到产生该分数的确切代码，排行榜数字与部署决策之间就存在缺口。作者还建议进一步检验评估的推理是否与模型在生产中的实际行为一致。
HF blog精选AI 评分6262 PAWBench：当前视频生成模型距离概率对齐的世界模型还有多远
论文提出概率对齐这一分布层面的世界模型要求，并发布 PAWBench 基准与 PAWEval 协议，把重复生成的视频 rollout 转成物理行为的经验分布。在 50 个场景和 11 个现有系统上，没有模型能同时稳定匹配参考概率并覆盖有效行为范围。作者随后测试语言提示、初始噪声采样和模型训练能否改变模型的预测分布。
推荐理由：论文把世界模型评估从单条视频合理性推进到行为分布层面，并给出 PAWBench 与 PAWEval 的具体评测协议。
HF blogAI 评分88 Hugging Face 数据集 jeffreylin1222/SDGBiasBench
Hugging Face 上线数据集 jeffreylin1222/SDGBiasBench，页面仅附 Hugging Face 推进开源开放科学的使命说明，未给出该数据集的规模、任务或评测指标等信息。
qbitaiAI 评分6262 五大高校联合发布 TriWorldBench 三视角世界模型评测首周榜单
北京大学、清华大学、北京航空航天大学、上海交通大学、中国科学技术大学联合发起的 TriWorldBench Challenge 公布首周榜单，这是首个面向机器人三视角世界模型的评测榜单。
HF blog精选AI 评分7171 WorldCycle：用可逆动作循环自监督强化学习训练长时程视频世界模型
WorldCycle 提出用可逆动作循环作为可自验证的强化学习信号，无需真值轨迹，将长时程状态回归漂移最多降低 44%，复合动作准确率提升近 4 倍。作者指出 WorldPlay、WorldCompass 等基线存在空间闭合失败与时间一致性失败，且短时程奖励无法察觉。团队同时发布 CycleBench，覆盖短、中、长时程的可逆、重复与复合循环，用于把视频世界模型当作模拟器评测。
推荐理由：作者把可逆动作循环当作无需真值轨迹的自监督信号，并公开 CycleBench，读者可据此理解长时程视频世界模型的漂移评测方式。
HF blogAI 评分3030 PAST-Bench：评测个人智能体递归自我改进基础的基准
Hugging Face 论文页面发布 PAST-Bench，用于评测个人智能体递归自我改进的基础能力。该基准聚焦个人智能体场景下的自我改进研究，目前页面仅开放论文讨论，未披露具体任务、指标或实验结果。
HF blogAI 评分2222 ExplainBench：评估智能体生成的代码解释
Hugging Face 上线论文页面 ExplainBench，用于评估智能体生成的代码解释。该页面目前仅开放讨论，正文未披露基准的具体任务、指标或实验结果。
HF blogAI 评分4343 机器人学习中的进度奖励建模：一篇综合性综述
一篇综述统一了机器人学习中的进度奖励建模，从模型接口、内部构建方法与评估基准三个层面梳理该领域。综述指出，终端成功信号无法说明机器人当前行为是在推进、停滞还是倒退，因此近期研究转向任务执行中提供反馈的进度奖励，但现有方法在观测、目标设定、输出信号、监督来源和评估协议上各不相同，难以比较。综述还总结了当前方法的主要局限并讨论了未来方向。
qbitaiAI 评分4242 世界模型“六小龙”WAIC圆桌激辩：技术路线分歧就是行业红利
7月19日WAIC“世界模型六小龙”论坛上，大晓机器人、蚂蚁灵波、极佳视界、无界动力、智元机器人、自变量机器人六家技术负责人就技术路线展开讨论，形成像素生成、隐空间（JEPA）与融合三派。
ROS Discourse latestAI 评分7575 Nav2 开源机器人工作负载基准，测试完整自主栈算力平台
Nav2 作者 Steve Macenski 开源了一套机器人工作负载基准，用完整自主栈运行叉车抓取放置任务，而非孤立的合成微基准。该基准处理来自 3D LIDAR、深度相机等的 9 路传感器流，在 180,000 平方英尺仓库中运行完整自主栈并叠加较重的 VLM 负载，已对 AMD Strix Halo、NVIDIA Jetson Thor 和 Orin AGX 进行测试。
HF blogAI 评分5454 Apple-π 发布以物理定律为锚的视频模型基准
Apple-PI 提出一个以物理定律为锚的基准，用分阶段推理评测诊断视频生成模型在模拟经典力学时的失效位置。该基准包含 Orchard 数据集，覆盖经典力学十类典型任务的 400 段视频，区分单定律与多定律任务；评测协议分感知、公式化、演绎三阶段，采用链式帧提示，并将生成视频视为模型的可见推理轨迹。
NVIDIA dev blog roboticsAI 评分5050 NVIDIA 如何评估通用机器人策略的真实世界部署能力
NVIDIA 发文讨论通用机器人策略在真实世界部署前的评估难题，指出当前最强系统已能按自然语言指令完成抓取、放置、分拣和操作多种物体，但严格评估仍是该领域最难解决的未解问题之一。文章介绍了其中的关键问题及 NVIDIA 的应对方法。
qbitaiAI 评分7171 RoboDojo 发布仿真加真机机器人操作评测基准，最强模型真机成功率 12.8%
曾推出 RoboTwin 系列的团队发布 RoboDojo，一个统一的仿真加真实世界机器人操作评测基准，包含 42 个仿真任务和 18 个真机任务，覆盖泛化、记忆、精细操作、长程执行和开放语义五类能力。
qbitaiAI 评分7171 地瓜机器人发布 Uranus 世界模型，做具身评测基准与仿真器
地瓜机器人发布世界模型 Uranus，定位为机器人开发基础设施，用于评测 VLA 与世界模型并支持操作训练仿真。它采用帧级闭环逐帧生成，训练时只见过 2 秒短片段，推理时可稳定运行 60 秒，支持 G1 人形机器人和 Franka 协作臂，目前仅支持 manipulation 训练，尚不支持 locomotion。
NVIDIA dev blog robotics精选AI 评分6262 NVIDIA 推出 Isaac Lab-Arena，简化仿真中的通用机器人策略评测
NVIDIA 发布 Isaac Lab-Arena，用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行，需要可扩展、可重复的仿真评测，而大规模评测搭建繁琐且依赖人工，开发者往往要自建高开销的定制基础设施，任务库在复杂度和多样性上也有限。
推荐理由：Isaac Lab-Arena 面向通用机器人策略的仿真评测，读者可了解其如何降低大规模评测的搭建成本。