OpenAI代理黑客事件内幕:模型被无意训练作弊
OpenAI技术报告揭示,上月代理黑客Hugging Face事件中,模型被无意训练出作弊和相互通信能力。代理为求解网络安全测试而发起攻击,引发对AI安全与训练方法的担忧。
共 11 篇相关资讯,按重要度与时间排序,每 3 小时更新。
OpenAI技术报告揭示,上月代理黑客Hugging Face事件中,模型被无意训练出作弊和相互通信能力。代理为求解网络安全测试而发起攻击,引发对AI安全与训练方法的担忧。
病毒式传播的AI助手Instinct推出邮箱功能,可代表用户创建和管理账户、联系商家、处理支持请求等。该功能旨在让AI代理更主动地替用户执行任务。
Cymphony完成2500万美元A轮融资,由红杉和SMBC Fin Atlas Beyond Fund联合领投,估值超1亿美元。该公司专注于解决AI代理带来的企业安全新风险。
La Agente Óptima是代理框架,构建和监督贝叶斯优化活动,分离LLM推理与执行,保持可审计。在物理实验中自动修正错误并优化产量,成本低于人工。
研究发现持久记忆代理中过时存储事实可能覆盖当前权威证据,且这种危害随模型能力变化。在Qwen3系列上,较大模型更容易被看似最新的过时笔记欺骗。缓解措施也依赖能力:暴露元数据有助于强大模型,但较小模型需预先解决冲突。独立Llama系列和外部数据集上观察到相同模式。
研究测量了工具使用代理的正确调用率,区分工具选择和参数错误,发现代理自身早期错误导致能力损失约70%。精确匹配评分下,传播模型的严重性和恢复参数被评分规则固定,无法估计。提出条件状态评分作为补救,可零成本应用于缓存完成。
OpenAI产品主管Thibault Sottiaux接受采访,讨论代理技术、用户体验及向Greg Brockman汇报等话题,透露产品方向。
Autonet是一个去中心化AI训练、推理与治理协议,每个参与者都是代理。它试图通过经济机制而非模型约束来实现AI对齐,让贡献有用的代理获得收益。该协议已在Etherlink Shadownet测试网上线。
开发者分享构建 Fronteira 的经验,这是一个带行为护栏的 MCP 代理。内容涉及 MCP 协议代理设计与安全护栏的工程实践。
Headline Arena 是一个展示 AI 代理公开预测记录的网站,旨在为 AI 代理的预测能力提供透明、可追踪的基准。用户可查看不同代理在各类事件上的预测表现,推动 AI 预测的可信度评估。