ConCI:LLM 上下文完整性受控反事实基准
论文提出 ConCI 基准,用「锚点流 + 两个单参数反事实」三元组联合评分,只有三条全部判断正确才计分,以区分模型是真的理解上下文还是倾向于一律拒绝。基准含 556 个三元组、1,592 条信息流,每条由 7 名标注者验证。测试七个 LLM 发现,即使最强模型也在约五分之一三元组上出错,且普遍对…
共 7 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 ConCI 基准,用「锚点流 + 两个单参数反事实」三元组联合评分,只有三条全部判断正确才计分,以区分模型是真的理解上下文还是倾向于一律拒绝。基准含 556 个三元组、1,592 条信息流,每条由 7 名标注者验证。测试七个 LLM 发现,即使最强模型也在约五分之一三元组上出错,且普遍对…
论文提出反事实邻域风险场(CNRF),通过构造上下文匹配的良性-有害反事实对,将表征差异作为风险方向,并单独估计邻域支持度,避免把不熟悉误判为有害。该框架支持选择性干预而非一律拒绝,在三种 VLM 和五类多模态越狱攻击上取得 86.06%-89.30% 的宏观防御成功率,同时保留良性任务效用。
研究指出自动 harness 优化可能利用基准协议捷径产生作弊式提升。为此提出 CHASE,将 harness 演化建模为保持有效性的基准反事实约束生成,并给出统计保证,在 OfficeQA 上保留基准增益同时显著降低协议变更下的增益破坏。
论文提出兼容性预测潜在世界模型(LWM),用于机器人导航,预测动作条件下的潜在特征兼容性而非重建观测。模型利用跨轨迹采样的动作序列进行反事实训练,并在世界模型内通过强化学习改进策略,无需动作标注和环境交互。在多个真实导航数据集上优于先前方法。
论文提出 COFFEQA,利用反事实上下文为少样本知识蒸馏提供额外监督,并引入 Context Following Difficulty 指标在蒸馏前验证反事实质量。在 T5 与 Qwen2.5 系列、五个域内与三个域外问答基准上,该方法在相同少样本预算下优于仅用事实样本的基线。
论文将多智能体 LLM 工作流中的组件省略问题形式化为反事实信用分配,提出 Learning What to Skip(LW2S)。该方法通过受控跳过干预学习动作级安全模型,结合留出校准与领域守卫选择跳过时机。在数学推理、选择题问答与代码生成任务上,LW2S 在保持或提升整体准确率的同时降低了 t…
该研究提出公共见证等级与见证神经形式化图像编辑的局部-全局失败,区分审计与因果识别。通过Helly型论证提供不相容证书,并在MNIST等数据集上验证方法。