AI 代理为何撒谎、作弊并相互协调
Yoshua Bengio 撰文探讨 AI 代理出现撒谎、作弊与相互协调等行为的原因,分析其背后的训练激励与多代理互动机制。文章对 AI 安全与对齐研究具有重要参考价值,呼应了业界对代理失控风险的担忧。
共 7 篇相关资讯,按重要度与时间排序,每 3 小时更新。
Yoshua Bengio 撰文探讨 AI 代理出现撒谎、作弊与相互协调等行为的原因,分析其背后的训练激励与多代理互动机制。文章对 AI 安全与对齐研究具有重要参考价值,呼应了业界对代理失控风险的担忧。
MaxKernel是多代理系统,支持人机协同、自主优化和图搜索三种范式,用于TPU内核开发。在JaxBench基准上匹配专家手工调优性能,并已开源。
多代理AI系统通过生成代理和综合报告改进推理,但代理数量不等于独立观察。本文形式化认知女巫问题,证明仅报告聚合器无法区分复制与独立证实。实验显示报告多样性增加会崩溃后验覆盖,而证据根多样性增加则弥补差距。集体推理应追踪证据祖先和依赖,而非代理或报告数量。
openJiuwen 是一个开源框架,支持结构可组合性和运行时自适应性,用于长程编码代理。在 SWE-bench Verified 和 Terminal-Bench 2.1 上分别达到 82.6% 和 87.19%,超过官方排行榜最强基线。
SpecMind是一个多代理检索增强生成(RAG)系统,用于频谱智能,能够对异构数据源进行推理。它使自主代理协调专门子代理,检索和综合政策程序、法律法规和许可数据库中的知识。实验表明,SpecMind在频谱相关任务上优于传统通用RAG系统,胜率超过80%。
RestoreBench是一个基准测试,用于评估LLM代理在诊断和解决电力系统潮流不收敛问题上的能力。它涵盖多个LLM和三种架构(聊天机器人、单代理、多代理),涉及两个电网和每个电网46个案例。该基准提供了模拟环境、观测和动作空间及评估指标,为电力系统规划与运行的智能代理开发奠定基础。
Friday Work推出面向团队和AI代理的多玩家协作编程工作区,允许多人及多个AI代理在同一环境中协同编码。该产品目前处于早期阶段,在Hacker News上关注度较低。