★ 3
ConflictVLA-Bench:VLA 前提冲突行为基准
研究提出 ConflictVLA-Bench,评估视觉-语言-动作模型面对无效任务前提时的行为反应,不仅看结果还看执行过程。基准基于 LIBERO 构建 2826 个冲突任务,覆盖四类冲突。实验发现八个 VLA 模型在无效前提下目标完成率至少下降 17.3 个百分点,且普遍存在「失败仍坚持」现象。
arXiv cs.AI34 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出 ConflictVLA-Bench,评估视觉-语言-动作模型面对无效任务前提时的行为反应,不仅看结果还看执行过程。基准基于 LIBERO 构建 2826 个冲突任务,覆盖四类冲突。实验发现八个 VLA 模型在无效前提下目标完成率至少下降 17.3 个百分点,且普遍存在「失败仍坚持」现象。
论文将自我知识转化为预测测试,在九项行为评估中比较模型对自身行为的预测与去除“自我”的对照。结果显示直接自我报告预测力很弱(r=+0.04),而关于“通用 AI 智能体”的问题表现相当,其他模型对自身的回答也能同样预测目标模型。第一人称框架会系统性美化报告,微调虽能教出窄域自我预测但会改变被预测行…
文章指出新闻编辑室中用于情感优化的AI系统不能仅靠技术指标衡量,必须通过行为学评估来验证其实际影响。这提醒媒体机构在部署AI工具时需关注对记者和受众行为的真实改变,而非仅看模型输出。