隐藏触发器如何让机器人无视自身安全规则
研究显示,针对视觉语言动作(VLA)模型的后门攻击 BadVLA 可在触发器出现时让机器人动作轨迹产生条件性偏移,无触发器时任务表现基本正常;GoBA 用咖啡杯等普通物体作触发器,报告 97% 攻击成功率且不降低干净输入上的表现。
研究显示,针对视觉语言动作(VLA)模型的后门攻击 BadVLA 可在触发器出现时让机器人动作轨迹产生条件性偏移,无触发器时任务表现基本正常;GoBA 用咖啡杯等普通物体作触发器,报告 97% 攻击成功率且不降低干净输入上的表现。
为机器人构建 AI 大脑的开发者正试图复刻前沿 AI 实验室的路径,靠更多样数据集、不同训练方案和强化学习场景突破物理 AI 的“GPT-2 时代”。Foxglove 在 Actuate 大会上发布基于 Nvidia Cosmos 开放权重世界模型的新产品,支持用自然语言查询数据以加速评估与仿真。
黄仁勋在Y Combinator访谈中称Agent是一种新的软件形态,不必达到100%准确才有价值,可控性可能是其下一阶段最大突破口。他表示AI消灭的是任务而非工作,编码正被自动化但软件工程师岗位同比增长约10%,并称物理AI开启新增长曲线,机器人将撑起英伟达下一个千亿美元市场。
NVIDIA 回顾 2025 年在数据中心电力与计算设计、AI 基础设施、模型优化、开放模型、AI 智能体和物理 AI 方面的进展,称这些创新重新定义了智能系统的训练、部署与走向真实世界的方式。上述内容来自其年度最受读者关注文章的盘点。