Hugging Face 数据集 Jianguo-Huang11/APM-Bench
Hugging Face 上线数据集 Jianguo-Huang11/APM-Bench。该数据集页面未提供更多说明，仅附有 Hugging Face 推进开源与开放科学、推动人工智能民主化的使命表述。
#评测/基准
#评测/基准
今日 1 条HF blogAI 评分2424
HF blogAI 评分3838 Hugging Face 发布 Sys1Cal-v1 数据集：评估 Jev 等结构化概率输出的校准问题
Hugging Face 发布 Sys1Cal-v1 基准数据集，用于直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现，Noul 和 Score 的概率接近真实值，而二元 Choice 输出存在系统性非线性失真，可通过引入潜在第三分量 Uncertain 建模。数据集与评估代码已公开，支持在其他结构化决策模型上复现。
HF blogAI 评分1818 Hugging Face 数据集 hotchpotch/s1mb-result 收录 S1MB 评测结果
Hugging Face 上的 hotchpotch/s1mb-result 数据集收录 System One Mosaic Benchmark（S1MB）的模型评测结果，整合 Choice、Noul 和 Score 三类专项任务。
HF blogAI 评分4242 VideoPhysEdit：基于刚体物理场景重建的物理反事实视频编辑
Hugging Face 论文页发布 VideoPhysEdit，一种无需训练的物理反事实视频编辑（PCVE）流程，通过刚体物理场景重建显式还原场景物理，将物理编辑作为干预并利用生成轨迹引导反事实视频生成。
HF blogAI 评分1818 Sterzhang/video2skill-bench：Hugging Face 数据集
Hugging Face 上线数据集 Sterzhang/video2skill-bench，页面仅保留“以开源和开放科学推进 AI 民主化”的使命说明，未披露数据规模、任务类型或评测指标等细节。
HF blogAI 评分00 Hugging Face 数据集 hanxunh/VEX-Bench 页面内容异常
Hugging Face 上 hanxunh/VEX-Bench 数据集页面当前显示为占位内容，正文由大量重复的占位标记与气候、金融、健康等主题的 JSON 文件名组成，未提供可用的数据集说明。页面标注为“article invalid or not complied”，无法确认该数据集的真实内容与用途。
HF blogAI 评分4444 MiniMax-H3 能否推理物理世界？全模态生成模型评测
针对 MiniMax-H3 这类全模态生成模型，一项新评测考察其物理世界推理能力，在 517 个评测实例中整体成功率为 41.97%。其中基于视频的决策推理成功率最高，为 56.00%，基于音频的消歧推理最弱，仅 27.40%。评测设计了隐式提示配多帧、音频-图像、前缀视频和音视频四类任务，要求模型跨模态整合互补信息以推断潜在事件状态与未来动态。
HF blogAI 评分2626 SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究？
Hugging Face 上线论文页面 SAEScientist-Bench，提出用基准测试检验 AI 智能体能否自主完成 SAE 可解释性研究。该页面目前仅开放论文讨论，未披露任务设置、评测指标或实验结果等具体信息。
HF blog精选AI 评分6060 DroneCATS 评测多模态 LLM 作为无人机视觉语言动作智能体
论文提出 DroneCATS-Agent 与 DroneCATS 基准，把多模态大模型直接放入无人机控制回路，动作空间仅由提示词声明，无需微调或函数调用模式。评测覆盖接近可见目标、跟踪移动目标、搜索视野外目标和多无人机编队指挥四项能力，模型规模下探到 2B。
推荐理由：DroneCATS 把多模态模型直接放进无人机控制回路，用四类任务对比前沿与 2B 小模型，可看到空间感知与动作协议之间的落差。
HF blogAI 评分3838 论文：评估许可证意味着什么？Inspect Evals 中声明可复现性的提交绑定普查
一项提交绑定普查发现，Inspect Evals 的 124 个评估中有 110 个无法复现到其对应的声明，在确定性推理之前就已中断。论文认为，若评估未绑定到产生该分数的确切代码，排行榜数字与部署决策之间就存在缺口。作者还建议进一步检验评估的推理是否与模型在生产中的实际行为一致。
HF blog精选AI 评分6262 PAWBench：当前视频生成模型距离概率对齐的世界模型还有多远
论文提出概率对齐这一分布层面的世界模型要求，并发布 PAWBench 基准与 PAWEval 协议，把重复生成的视频 rollout 转成物理行为的经验分布。在 50 个场景和 11 个现有系统上，没有模型能同时稳定匹配参考概率并覆盖有效行为范围。作者随后测试语言提示、初始噪声采样和模型训练能否改变模型的预测分布。
推荐理由：论文把世界模型评估从单条视频合理性推进到行为分布层面，并给出 PAWBench 与 PAWEval 的具体评测协议。
HF blogAI 评分88 Hugging Face 数据集 jeffreylin1222/SDGBiasBench
Hugging Face 上线数据集 jeffreylin1222/SDGBiasBench，页面仅附 Hugging Face 推进开源开放科学的使命说明，未给出该数据集的规模、任务或评测指标等信息。
HF blog精选AI 评分7171 WorldCycle：用可逆动作循环自监督强化学习训练长时程视频世界模型
WorldCycle 提出用可逆动作循环作为可自验证的强化学习信号，无需真值轨迹，将长时程状态回归漂移最多降低 44%，复合动作准确率提升近 4 倍。作者指出 WorldPlay、WorldCompass 等基线存在空间闭合失败与时间一致性失败，且短时程奖励无法察觉。团队同时发布 CycleBench，覆盖短、中、长时程的可逆、重复与复合循环，用于把视频世界模型当作模拟器评测。
推荐理由：作者把可逆动作循环当作无需真值轨迹的自监督信号，并公开 CycleBench，读者可据此理解长时程视频世界模型的漂移评测方式。
HF blogAI 评分3030 PAST-Bench：评测个人智能体递归自我改进基础的基准
Hugging Face 论文页面发布 PAST-Bench，用于评测个人智能体递归自我改进的基础能力。该基准聚焦个人智能体场景下的自我改进研究，目前页面仅开放论文讨论，未披露具体任务、指标或实验结果。
HF blogAI 评分2222 ExplainBench：评估智能体生成的代码解释
Hugging Face 上线论文页面 ExplainBench，用于评估智能体生成的代码解释。该页面目前仅开放讨论，正文未披露基准的具体任务、指标或实验结果。
HF blogAI 评分4343 机器人学习中的进度奖励建模：一篇综合性综述
一篇综述统一了机器人学习中的进度奖励建模，从模型接口、内部构建方法与评估基准三个层面梳理该领域。综述指出，终端成功信号无法说明机器人当前行为是在推进、停滞还是倒退，因此近期研究转向任务执行中提供反馈的进度奖励，但现有方法在观测、目标设定、输出信号、监督来源和评估协议上各不相同，难以比较。综述还总结了当前方法的主要局限并讨论了未来方向。
HF blogAI 评分5454 Apple-π 发布以物理定律为锚的视频模型基准
Apple-PI 提出一个以物理定律为锚的基准，用分阶段推理评测诊断视频生成模型在模拟经典力学时的失效位置。该基准包含 Orchard 数据集，覆盖经典力学十类典型任务的 400 段视频，区分单定律与多定律任务；评测协议分感知、公式化、演绎三阶段，采用链式帧提示，并将生成视频视为模型的可见推理轨迹。
NVIDIA dev blog roboticsAI 评分5050 NVIDIA 如何评估通用机器人策略的真实世界部署能力
NVIDIA 发文讨论通用机器人策略在真实世界部署前的评估难题，指出当前最强系统已能按自然语言指令完成抓取、放置、分拣和操作多种物体，但严格评估仍是该领域最难解决的未解问题之一。文章介绍了其中的关键问题及 NVIDIA 的应对方法。
NVIDIA dev blog robotics精选AI 评分6262 NVIDIA 推出 Isaac Lab-Arena，简化仿真中的通用机器人策略评测
NVIDIA 发布 Isaac Lab-Arena，用于在仿真中简化通用机器人策略的评测。通用机器人策略需跨多种任务、本体和环境运行，需要可扩展、可重复的仿真评测，而大规模评测搭建繁琐且依赖人工，开发者往往要自建高开销的定制基础设施，任务库在复杂度和多样性上也有限。
推荐理由：Isaac Lab-Arena 面向通用机器人策略的仿真评测，读者可了解其如何降低大规模评测的搭建成本。