HF blog·· 2026-08-28AI 评分38
论文：评估许可证意味着什么？Inspect Evals 中声明可复现性的提交绑定普查
Paper page - What Does an Evaluation License? A Commit-Bound Census of Claim Replay in Inspect Evals
AI 导读
一项提交绑定普查发现，Inspect Evals 的 124 个评估中有 110 个无法复现到其对应的声明，在确定性推理之前就已中断。论文认为，若评估未绑定到产生该分数的确切代码，排行榜数字与部署决策之间就存在缺口。作者还建议进一步检验评估的推理是否与模型在生产中的实际行为一致。
来源：HF blog · huggingface.co