★ 4
HarvestBench:衡量LLM智能体是否愿付费避免伤害动物
HarvestBench是一个新基准,通过农场模拟测试LLM智能体在避免伤害动物时是否愿意付出代价。结果显示,不同模型的杀生率差异巨大,从0.4%到98.8%,且与能力无关。道德提示能显著降低杀生率,而价格敏感度因模型而异。该基准完全可复现,无需LLM评分器。
arXiv cs.AI56 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
HarvestBench是一个新基准,通过农场模拟测试LLM智能体在避免伤害动物时是否愿意付出代价。结果显示,不同模型的杀生率差异巨大,从0.4%到98.8%,且与能力无关。道德提示能显著降低杀生率,而价格敏感度因模型而异。该基准完全可复现,无需LLM评分器。
GPS-Bench是一个基于证据的治理政策模拟基准,将政策与相关行为者、行动和影响关联,利用立法记录、游说披露等公共证据。它构建了有据可查的行为者画像,并对比联合推理、独立智能体等模式。实验表明,基于证据的微调在行为者层面影响预测上表现最强,分解方法虽未超越但提供了机制解释。
技术爱好者使用Claude模拟QIC-117磁带驱动器,探索复古计算与AI的结合。该实验展示了AI在硬件模拟方面的潜力,但话题极为小众。