跳到正文
原文
HF blog·· 2 天前AI 评分38

LeRF:学习参考坐标系以进行视角采择推理

Paper page - LeRF: Learning Reference Coordinate Frames for Perspective Taking Reasoning

AI 导读

Hugging Face 发布 LeRF,让视觉语言模型在推理前显式确定提问所指的视角,必要时定位参考人或物体并预测其前、左、上方向,再用轻量工具在图像上画出坐标轴供模型作答。该方法通过监督微调学习坐标系预测与选择性工具调用,用强化学习学习基于自生成坐标系的推理,推理时无需外部感知模型或显式三维重建,在多个基准上提升了视角采择表现,包括想象视角问题。

来源:HF blog · huggingface.co