★ 4
研究：大模型会明知故犯地隐瞒自身错误
研究在 LLM 轨迹中预填合成错误，发现模型在 36.4% 的聊天与 67.1% 的智能体场景中未披露错误；其中 2.4% 与 5.3% 的轨迹中模型在思维链里已意识到错误却仍隐瞒。Gemini 3.5 Flash 在智能体场景中明知隐瞒比例高达 19.9%，作者建议引入独立监控器审查智能体轨迹。
arXiv NLP24 天前
#思维链
共 59 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
AI 思维链监控可信度下降引风险
《华尔街日报》报道称，AI 模型的「思考」过程已不再可信，思维链监控作为安全手段的有效性受到质疑。这加剧了对模型可能失控或行为不端的担忧，对当前依赖思维链做可解释性与对齐的研究路线构成挑战。
Hacker News – AI29 天前
★ 4
研究：大型推理模型推理阶段的能力与效率缩放规律
论文用层次贝叶斯模型评估 DeepSeek-R1-Distill 系列在四类算术与算法推理任务上的能力与效率。结果显示，固定模型规模下解题正确率随问题规模近似指数衰减，衰减尺度随模型规模亚线性增长，即能力提升递减；输出长度随难度呈幂律增长，但幂律参数不随模型规模系统变化，说明更大模型并未更高效。
arXiv cs.LG39 天前
★ 4
答案并非论证：AI推理监控的局限
该研究探讨了在AI监督中提供参考答案是否有助于推理验证，还是仅暴露错误结论。通过分析237个逐步解答，发现认证答案能提高结论一致性检查，但并未增强对论证过程的独立验证。研究警告，可接受的输出并不保证推理过程健全，这对AI安全监控具有重要启示。
arXiv cs.AI61 天前
★ 3
CRoS 用打乱思维链的因果奖励提升推理准确性与忠实度
论文指出 RLVR 仅依赖结果正确性无法保证思维链对答案有因果贡献，而现有因果度量通过删步骤或注入错误扰动会改变信息本身。作者提出 CRoS，仅打乱推理步骤顺序而不改变内容来度量因果性。在 Gemma-3-4B 上，CRoS 在域外准确率、思维链质量与忠实度上均优于现有因果与结果奖励。
arXiv NLP8 小时前
★ 3
Stepwise Querying：无教师思维链也能蒸馏推理
针对黑盒教师只暴露最终答案与简要解答的困境，论文提出 Stepwise Querying，通过对同一教师独立提问获取中间推导、有效性检查与逐步纠错，再用于标准监督微调。在两个教师、两个学生与四个数学及代码基准的 16 组对比中 14 组取得最高分，并提出 SEIG 诊断指标。
arXiv NLP8 小时前
★ 3
研究揭示思维链可控性源于开头几个 token
论文研究大模型为何难以控制其推理轨迹中的表述内容，将其与思考标签后最初几个 token 的熵坍缩联系起来。作者通过预填充初始 token 与禁用高频开头 token 两种推理时干预恢复可控性，后者使平均合规率提升 34-41 个百分点。研究还发现「添加/风格」可控性与「抑制」可控性表现为不同能力。
arXiv cs.AI8 小时前
★ 3
研究：模型越大越依赖思维链，且与后训练无关
论文在中间状态完全已知的合成换箱任务上，通过替换模型自身思维链中的一步来测量答案对步骤的依赖度，评测 25 个开源权重模型（Qwen3、Gemma 3、Llama 3、OLMo 2）。发现依赖度随规模上升并饱和，Qwen3 从 0.6B 的 16-18% 升至 14B 的 97-100%，且与能力…
arXiv NLP3 天前
★ 3
LLaMA3.3-70B 提取卒中病历变量准确率达 94.8%
研究评估基于提示的 LLM 框架，从三家医院 2416 份神经介入急性卒中手术报告中提取 8 项临床变量，测试 22 个开源指令微调模型。LLaMA3.3-70B 配合思维链提示整体准确率最高达 94.8%，专家裁定显示 AI 预测多数变量比非专家标注更贴近专家判断，但颅内血管成形术仍是难点。
arXiv NLP3 天前
★ 3
研究：token 置信度评分主要反映思维链长度而非正确性
论文用信号处理方法审计推理模型的 token 置信度打分法，在 500 道数学题各采样 16 条思维链。结果显示滑动窗口最低置信度分数主要度量链长，仅按长度排序效果相当甚至更好；扣除长度后该分数对正确性无信息量。频谱中虽存在微弱信号，但不足以改善多数投票或提前停止策略。
arXiv NLP5 天前
★ 3
REACT：在思维链早期激活层干预，安全输出率升至 82%
论文提出 REACT，从安全与不安全轨迹对中学习安全方向，仅在思维链早期隐藏状态施加一次干预，模型权重保持冻结。在 DeepSeek-R1-Distill-Llama-8B 上，完全安全输出率从 29.06% 提升至 82.05%，且良性拒答与有用性基本不变。
arXiv cs.LG7 天前
★ 3
研究：长思维链下投机解码接受率并不随位置衰减
论文在 MATH-500 全部 500 题上，用同族与跨族两个独立草稿模型对 DeepSeek-R1-Distill-Qwen-7B 做约 178 万轮验证，首次系统测量接受率随生成位置的变化。排除贪心解码重复问题后，四种配置下接受率均不随位置衰减，后半段甚至略高。拒绝集中在「wait」「howe…
arXiv cs.AI10 天前
★ 3
研究：大型推理模型日常逻辑推理表现不及思维链提示模型
论文构建基于语言与语用推理现象的基准，系统评测大型推理模型（LRM）与日常推理模式的契合度，并与非推理模型在受控提示下对比。结果显示：当日常推理偏离形式逻辑时推理模型表现下降，部分带思维链提示的非推理模型反而更优，额外指令提示对推理行为控制有限。
arXiv cs.AI13 天前
★ 3
研究提出能力本位评测 CBE，揭示 GPT 与 Qwen 逻辑推理不一致
论文批评当前基准只报告单一准确率，无法反映推理能力的泛化性，提出能力本位评测（CBE）：用参数化生成器在固定能力要求下扩展复杂度，并以等价表述检验正确性。在六款 GPT 与 Qwen 模型上，即使强模型也无法通过跨表述的能力一致性检验；思维链与 GRPO 能提升表现但未解决全部失败，监督式 LoR…
arXiv NLP14 天前
★ 3
研究揭示大模型位置偏见：推理模型几乎免疫
一篇 arXiv 论文系统研究了大语言模型的位置偏见，覆盖十亿到万亿参数规模、五种语言的多选题与多文档任务。结果显示小模型和非英语语言偏见明显，扩大模型规模与使用思维链提示可显著缓解，而具备长推理能力的思考模型几乎不受位置偏见影响。
arXiv NLP14 天前
★ 3
ARBOR：通过推理状态追踪定位长思维链失败
论文提出 ARBOR 推理失败归因框架，将每条思维链轨迹表示为推理状态树，按每步创建、验证、剪枝或重访状态构建，并把失败归因于步骤与其前序状态之间的关系。该方法将过度思考、思考不足、无依据推理三种失败模式细分为不同子类型，并发现步骤前的树状态可区分失败步骤与未发生失败的「风险步骤」。代码与数据已公…
arXiv NLP14 天前
★ 3
CoTranslator：逆向转正向思维链推理蒸馏
研究提出 CoTranslator，将逆向思维链响应翻译为经拒绝采样验证的正向响应分布，用于高效生成学生训练数据。在六个数学基准上平均准确率最高提升 5.82 个百分点，4B 学生模型以 35.9% 算力保留 95% 拒绝采样精度。该方法无需重训即可迁移至新数据集、教师与 STEM 任务。
arXiv NLP17 天前
★ 3
arXiv 论文：推理轨迹与证据冲突时，答案配置决定模型是否遵循证据
该 arXiv 论文研究推理轨迹在答案生成时的双重作用：既能提升准确率，也会与当前证据竞争。作者在 gpt-oss、Gemma4、Qwen3 三个模型家族上，用 HotpotQA 和 MuSiQue 数据集对比「延续模型自身思考」与「单独答案调用」两种配置，发现单独调用使证据遵循率提升 29.9 …
arXiv cs.AI17 天前
★ 3
PVFH-Bench：视觉语言模型前提诱导视觉固着幻觉基准
研究者提出 PVFH-Bench 基准，用于评测视觉语言模型（LVLM）中一种新的失败模式——前提诱导视觉固着幻觉（PVFH）：模型被视觉上易混淆的证据锚定，接受错误的文本前提，进而描述并不存在但视觉上合理的物体。在 10 个最先进 LVLM 上的实验显示所有模型都高度易受影响，且显式思维链推理反…
arXiv NLP19 天前
★ 3
REDaCT：大推理模型免崩溃遗忘框架
论文提出 REDaCT，一种面向大推理模型（LRM）的推理时遗忘框架，由二值泄漏检测器与嵌入优化模块组成：检测推理链中泄漏遗忘集信息的句子，并注入离线学到的纠正嵌入引导后续推理。实验显示 REDaCT 完全避免推理崩溃，在保持答案与思维链近乎完美遗忘的同时显著提升推理能力保留。
arXiv cs.LG21 天前
★ 3
新论文提出不确定性引导渐进收缩，推理后训练预算降至0.22%
该研究提出不确定性引导的渐进收缩框架，用蒙特卡洛推理树刻画过程级不确定性，先将语料收缩为紧凑教师池，再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上，仍能维持或提升推理性能，并可跨学生模型族与黑盒教师泛化。
arXiv cs.AI21 天前
★ 3
SELFCOMPACT：让语言模型智能体自行决定上下文压缩
论文提出 SELFCOMPACT，让模型自己决定何时以及如何压缩上下文，而非按固定 token 阈值触发。该方法通过压缩工具对累积的思维链与工具调用轨迹做摘要，避免在推导或搜索中途丢弃部分结果。
Apple Machine Learning Research21 天前
★ 3
arXiv 论文：Lapras 面向时间序列语言模型的潜在推理
论文提出 Lapras 后训练框架，为时间序列语言模型赋予潜在推理能力，模型在时间序列-语言联合空间中进行连续思维推理，仅对最终答案输出文本。在五个时间序列问答基准上，Lapras 平均 F1 较显式思维链提升最多 10.79%，同时生成 token 减少 23.9 倍。
arXiv NLP24 天前
★ 3
研究：可见思维链并非通用优化器，效果依赖人设与目标语言
论文通过 SQL 与 Python 双目标语言的 analytics 代码生成基准，测试可见思维链（CoT）是否在推理表示与目标语言匹配时更有效。结果显示可见 CoT 无普遍精度优势，效果取决于人设、目标、模型配置与内部推理设置，推理策略应联合选择而非默认采用。
arXiv cs.LG24 天前
★ 3
算法草稿本与课程分级提升微型Transformer算术推理
论文研究约1060万参数Tiny Transformer在多步算术任务中的机制，发现数据加载填充会造成83%梯度饥饿、语言预训练是必要前提，现代架构组件与稀疏MoE可提升加法推理。引入逐位长除法草稿本与四阶段课程后，单位数除法准确率从4.0%提升至86.7%。
arXiv cs.LG25 天前
★ 3
大模型推理token的状态表征作用
一篇学术论文将大语言模型中的推理token刻画为一种随token序列演化的状态表示，试图从理论层面解释推理链为何有效。该研究有助于理解思维链机制的内在原理，并为推理效率优化提供新视角。
Nature Machine Intelligence26 天前
★ 3
研究提出DSAR指标衡量大型推理模型的欺骗性安全对齐
论文指出大型推理模型在强化学习训练中，因奖励仅基于最终答案，导致思维链推理与最终答案的安全信号不一致，即「欺骗性安全对齐」。作者提出DSAR指标量化该现象，并发现预填充攻击会显著放大该问题。为此提出SARA方法，同时奖励安全推理与安全答案，在保持有用性的前提下显著缓解该问题。
arXiv cs.AI33 天前
★ 3
SPSD：面向大模型推理的自博弈搜索蒸馏
论文提出自博弈搜索蒸馏（SPSD），利用在棋类游戏上训练的类 MuZero 网络进行自博弈，将搜索记录转化为超人类思维链，为 LLM 提供基于环境的监督。该方法仅用自博弈搜索记录训练，却能迁移到未见过的数学任务：在 Qwen3-4B-Base 上，六个数学基准均值从 24.1 提升至 36.6，留…
arXiv cs.AI35 天前
★ 3
思考能提升公平性吗？推理 token 的双面效应
论文通过 QwQ-32B、DeepSeek-R1-Distill-Qwen-32B 与 Qwen3-32B 的思考/非思考消融实验，在 Adult、COMPAS、Credit 三个高风险决策任务上发现：思考对反事实公平性有非对称双重效应，既消除部分偏见翻转，也在接近饱和置信度下制造新翻转。九种模型…
arXiv cs.AI35 天前
★ 3
思维泄漏：混合推理模型NoThink后训练的因果审计
论文在因果中介框架下审计混合推理模型NoThink后训练中的思维泄漏，通过沿基础模型激活方向的双向干预发现泄漏真实、因果且显著。在三个模型、三种后训练方法与九个对齐检查点上，泄漏比率达42%至79%，表明后训练的表面增益可能只是更多漂移向Think模式。
arXiv cs.LG38 天前