★ 3
研究：临床医生主导规则护栏，提升心理健康聊天机器人可核查性
论文提出由两名临床医生定义并裁决四条安全检查规则的护栏方案，规则库经形式化验证后作为 LLM 输出过滤层，每个判定都可由具名规则与 16 项事实复算。对比实验显示 Llama-3.3-70B 裁判在 84.6% 已含危机资源的回复中仍要求提供资源，而验证层按构造不会误报，作者同时报告了该裁判更强的…
arXiv NLP10 天前
#护栏
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AdaGuard：可推理的 LLM 裁判安全护栏框架
论文提出 AdaGuard，一种自适应 LLM-as-a-Judge 护栏框架，通过动态策略执行与自适应推理预算分配，支持运行时泛化到用户自定义的安全与合规策略，无需频繁更新模型。其核心创新是动态推断输入-策略对的复杂度，在高速度黑盒推理与可解释的推理式审核之间切换，兼顾延迟与透明度。实验显示 A…
arXiv cs.AI25 天前
★ 3
Humanbound：AI代理开源红队测试
Humanbound 发布面向 AI 代理的开源对抗测试引擎、SDK 与 CLI，可对真实端点进行多轮对话、工具滥用等攻击测试，并将失败案例转化为可部署的防火墙规则。提供免费托管层，支持本地运行与 Ollama 离线模式。
Hacker News – AI32 天前
★ 3
研究用LLaMA-3.1-8B隐状态检测有害提示
论文提出从 LLaMA-3.1-8B 提取激活值，训练仅 1260 万参数的轻量 MLP 探针来检测有害提示。在 WildJailbreak、Beavertails 与 AEGIS 2.0 上 F1 分别达 99%、83%、84%，与体量大 1000 倍的护栏模型相当，同时显著降低延迟与算力开销。…
arXiv cs.AI45 天前
★ 3
ContrAgent：用契约对 LLM 智能体做符号时序监督
论文针对 LLM 智能体工具调用中的幻觉、分布不稳与对抗操纵风险，指出现有防护要么事后用随机 LLM 评判轨迹，要么逐次拦截动作，缺乏统一确定性产物。作者提出 ContrAgent，用 LTLf 假设-保证契约将行为编译为确定性有限自动机，同时支持在线门控与离线评估。在四个基准上匹配最先进基线，且…
arXiv cs.AI46 天前
★ 2
270 次实验揭示护栏能否提升 AI 编程智能体表现
一篇博客基于 270 次运行实验，评估为 AI 编程智能体添加护栏（guardrails）后对其表现的影响。结果显示护栏在减少错误的同时也可能限制智能体的灵活性。
Hacker News – AI5 天前
★ 2
Tines 发文：AI 护栏并非安全控制措施
Tines 发布文章指出，AI 护栏（guardrails）不能等同于安全控制，无法替代真正的安全防护体系。该观点提醒企业在部署 AI 时需区分内容约束与安全边界。
Hacker News – AI13 天前
★ 2
Nimblegate：AI代理的Git推送护栏
Nimblegate是一个为AI代理设计的Git推送护栏工具，可阻止不安全的推送并记录每次决策。它位于AI代理和真实Git主机之间，确保推送的一致性和安全性，已在生产环境中使用。
Hacker News – AI40 天前