LaVGuard:针对上下文价值漂移的选择性解码方法
论文将上下文价值漂移视为任务相关的解码问题,提出 LaVGuard,将授权价值画像与可见前缀的价值估计分离,通过画像相关密度门控决定何时评估候选续写,并用位置变化与累积 KL 预算约束 logit 调整。画像条件化将 5% 假阳性率下的边界 TPR 从 0.58 提升至 0.72,风险安全分 0.…
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将上下文价值漂移视为任务相关的解码问题,提出 LaVGuard,将授权价值画像与可见前缀的价值估计分离,通过画像相关密度门控决定何时评估候选续写,并用位置变化与累积 KL 预算约束 logit 调整。画像条件化将 5% 假阳性率下的边界 TPR 从 0.58 提升至 0.72,风险安全分 0.…
论文指出扩散语言模型的提交规则本身会引入偏见:LLaDA 默认等采样器优先提交高概率位置,从而放大职业性别刻板印象并压缩观点分布。作者提出 Fork-First Sampling,在写入任何内容前先决定分叉,可遵循模型信念或任意目标分布并提升流畅度。研究呼吁扩散模型公平性评测应报告提交规则。
论文提出 Lattice Language Model(LatLM),把跨行承诺调度变成解码时的自适应选择,避免固定调度导致的过早承诺与级联推理错误。模型在二维格上每轮为前沿 token 打分,对未就绪候选延迟承诺,并用二维因果掩码单次前向监督整条采样轨迹。482M 参数下,混合依赖链任务准确率达…
研究者提出 EASE(Entropy-Adaptive Distribution Shaping for Evasion),一种无需训练、与检测器无关的框架,用于规避 AI 生成文本检测。EASE 直接从源 LLM 的下一 token 分布计算预测熵,据此自适应调整 logit 扰动与采样温度,无…
论文提出对比认知解码(CED),一种零样本推理干预方法,通过单模型双前向传播隔离从众偏差,并用非对称零界概率钳制与离散 top-k 截断抑制有害共识 token。在 GAIA、SWE-bench 等基准的 7200 条轨迹上测试 Gemma-2、Llama-3.1、Mistral v0.3,认知惰…