arXiv NLP·18 天前★ 2

INTACT：在冻结骨干模型上诱导潜在推理

原文标题：INTACT: Inducing Latent Reasoning on a Frozen Backbone

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究者提出 INTACT，用小型外部编码器在冻结的骨干模型上诱导潜在推理，将隐藏状态映射为连续软 token 前缀。在四个 1B-8B 冻结骨干上，GSM8K 与域外准确率均提升，Llama-3.2-3B 上 GSM8K 从 75.8% 升至 79.3%，端到端延迟降低 19%。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 潜在推理需改造骨干模型，难以在冻结模型上低成本引入。
方法: 用小型外部编码器把冻结骨干的隐藏状态迭代映射为连续软 token 前缀，经蒸馏与答案正确性强化训练。
结果: Llama-3.2-3B 上 GSM8K 从 75.8% 升至 79.3%，Qwen2.5-3B 从 77.6% 升至 79.7%，端到端延迟降低 19%
影响: 不重训大模型即可加速并提升推理，适合想在现有部署模型上做推理优化的团队。

AI 处理过程展开/收起

原始标题：INTACT: Inducing Latent Reasoning on a Frozen Backbone

AI 中文标题：INTACT：在冻结骨干模型上诱导潜在推理

来源：arXiv NLP · 发布于 18 天前

分类：学术研究 · AI 重要度：★ 2（2）

标签：潜在推理 / 软token / 知识蒸馏 / 冻结模型

关键词：INTACT 潜在推理 / 潜在推理 / 软 token / 冻结骨干模型 / 推理蒸馏

AI 处理：2026/10/15 12:51:12 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐