★ 2
INTACT：在冻结骨干模型上诱导潜在推理
研究者提出 INTACT，用小型外部编码器在冻结的骨干模型上诱导潜在推理，将隐藏状态映射为连续软 token 前缀。在四个 1B-8B 冻结骨干上，GSM8K 与域外准确率均提升，Llama-3.2-3B 上 GSM8K 从 75.8% 升至 79.3%，端到端延迟降低 19%。
arXiv NLP18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 INTACT，用小型外部编码器在冻结的骨干模型上诱导潜在推理，将隐藏状态映射为连续软 token 前缀。在四个 1B-8B 冻结骨干上，GSM8K 与域外准确率均提升，Llama-3.2-3B 上 GSM8K 从 75.8% 升至 79.3%，端到端延迟降低 19%。