HF blog·· 1 天前AI 评分38
Hugging Face 发布 Sys1Cal-v1 数据集：评估 Jev 等结构化概率输出的校准问题
Paper page - Jev thinks "I don't know'', but doesn't say it: Introducing Sys1Cal-v1 Dataset for Probability Calibration
AI 导读
Hugging Face 发布 Sys1Cal-v1 基准数据集，用于直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现，Noul 和 Score 的概率接近真实值，而二元 Choice 输出存在系统性非线性失真，可通过引入潜在第三分量 Uncertain 建模。数据集与评估代码已公开，支持在其他结构化决策模型上复现。
来源：HF blog · huggingface.co