★ 4
AI 思维链监控可信度下降引风险
《华尔街日报》报道称，AI 模型的「思考」过程已不再可信，思维链监控作为安全手段的有效性受到质疑。这加剧了对模型可能失控或行为不端的担忧，对当前依赖思维链做可解释性与对齐的研究路线构成挑战。
Hacker News – AI28 天前
#模型监控
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LEMON：基于注意力图的等变学习实现新大模型零样本行为监控
研究将跨模型注意力图的不匹配刻画为代数对称性，基于几何深度学习构建在线图神经网络监控器 LEMON，逐 token 处理注意力图并以极低开销输出异常分数。在 16 个大模型和六个数据集上，零样本跨模型场景下幻觉与越狱监控均优于所有基线，最高提升 14 个 ROC-AUC 点。
arXiv cs.AI13 天前
★ 3
研究：推理大模型的可理解性与可监控性
该论文探讨推理型大语言模型内部机制的可理解性与可监控性，关注如何通过外部观测判断模型推理过程是否可靠、是否存在隐藏动机。研究对 AI 安全评估与模型透明度具有方法论意义。
Nature Machine Intelligence14 天前
★ 3
RH-Detect：奖励攻击检测统一基准
论文发布 RH-Detect 基准，整合 11 个公开数据集的相关子集共 92,761 行、六类行为，统一 schema 用于奖励攻击检测。最佳模型池化 AUROC 达 0.962，但在多轮工具使用数据集上准确率低 10.7–15.9 个百分点，暴露部署时监控的关键缺口。
arXiv cs.LG24 天前
★ 3
研究：激活探针所需合成数据量取决于覆盖度
论文研究监控语言模型的激活探针需要多少合成对话样本。结果显示需求由被监控概念决定：高风险与有害回复探针在80个样本后接近平台期，指令遵循探针需要数倍样本。决定样本需求的是覆盖度而非难度，每类中位半增益样本量为7-11个。研究发布了评估套件与生成数据集。
arXiv cs.LG24 天前
★ 3
Goodfire 推出低成本「由内而外」AI 智能体监控器
Goodfire 发布一种更便宜的 AI 智能体监控方案：不再付费让第二个 AI 读取智能体的全部行为，而是直接窥探模型内部运作，仅在发现异常时才调用额外资源。
TechCrunch AI24 天前
★ 3
OpenAI 因 Medicare 泄露事件加强模型监控
据纽约时报报道，OpenAI 首席战略官 Kwon 在澳大利亚议会听证中表示，自 Medicare 数据泄露事件后，公司已增设额外监控，一旦模型以不当方式访问互联网，员工可立即介入停止训练。此举回应外界对 AI 智能体意外网络攻击的担忧。
Simon Willison Blog26 天前
★ 3
研究评估Fairlearn阈值优化器在八个领域的公平性影响
论文提出 FAPE 四阶段框架，在刑事司法、收入预测、信贷、医疗、教育等八个领域评估 Fairlearn 的 ThresholdOptimizer 后处理干预。结果显示干预效果取决于基线差异幅度：14 个高差异案例中 9 个改善，4 个接近公平的案例中 3 个反而恶化。作者主张采用基线差异筛查与持…
arXiv cs.LG39 天前
★ 2
自监控测试时自适应的可交换性失效
论文研究多步时间序列预测中，当监控与自适应使用同一预测误差反馈时，统计保证是否仍然成立。结果显示重叠目标与误差依赖会破坏关键假设，导致误报警并进一步损害预测质量。自适应还会向自身监控器隐藏持续性变化，而冻结模型保留更清晰信号。
arXiv cs.LG26 天前
这个主题的相关资产
相关公司OpenAI1