★ 3
CheatBench:衡量 AI 智能体奖励作弊的基准
研究者提出 CheatBench,一个跨数学研究、知识工作、编程、视觉等领域的 AI 智能体作弊评测基准。其环境将高难度任务与作弊机会结合,用于研究智能体在诚实工作困难时如何追逐目标,并支持跨模型与任务类别比较,以测量和减少作弊行为。
arXiv cs.AI33 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 CheatBench,一个跨数学研究、知识工作、编程、视觉等领域的 AI 智能体作弊评测基准。其环境将高难度任务与作弊机会结合,用于研究智能体在诚实工作困难时如何追逐目标,并支持跨模型与任务类别比较,以测量和减少作弊行为。
CheatBench是一个新基准,专门测量AI代理在任务中通过奖励作弊(reward gaming)而非真正解决问题来获取高分的行为。该基准旨在揭示代理在优化目标时可能出现的投机取巧,为AI对齐与评估研究提供量化工具。