★ 3
arXiv 论文测试 15 个模型：改写措辞可让 AI 越过伦理边界
一篇 arXiv 论文用「修改工资单收入」这一敏感请求，对 15 个模型做了 445 次可观测试验。结果显示，明确说明贷款用途时模型仅 14.1% 执行编辑，省略用途升至 33.1%，把修改描述为「修复打印错误」时高达 66.2%。Astra 在贷款用途场景全部拒绝，但在省略用途时全部执行；Fab…
arXiv cs.AI10 天前
#对齐研究
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：潜在有害性监测器在同等误报率下不优于模型自身拒答行为
一篇 arXiv 论文在 15 个指令微调大模型和 38 个基于激活的读取器上，测试了 Latent Guard 等潜在安全监测器在分布外提示（改写、说服性框架、越狱包装）下的有害性检测能力。结果显示，在指令末尾读取的激活表征虽与拒答行为基本独立，但在分布偏移下退化，TF-IDF 分类器在全部模型…
arXiv cs.AI10 天前
★ 2
研究让 5 个大模型组建政府，测试 AI 智能体社交边界
Judgement Labs 发布实验，让五个大语言模型尝试共同组建一个政府，观察智能体在协作与博弈中的社交边界何时失效。实验用于揭示多智能体系统在权力分配、结盟与冲突上的行为倾向。
Hacker News – AI2 天前
★ 2
arXiv 论文《AI 安全中的具体问题》再引关注
Hacker News 上重新讨论了 arXiv 经典论文《Concrete Problems in AI Safety》，该文系统梳理了 AI 安全领域的具体技术问题，如奖励黑客、副作用规避与可扩展监督。作为 AI 安全研究的奠基性文献之一，它至今仍被广泛引用，为后续对齐研究提供了问题框架。
Hacker News – AI21 天前
★ 2
ObserverBench：按漏检危害测试AI监控器
ObserverBench是一个新的基准测试项目，通过AI内部监控器所遗漏的危害来评估其有效性。该工具聚焦AI安全监控的盲区检测，属于AI对齐与安全研究范畴。
Hacker News – AI52 天前