★ 3
BELT：为 LLM 推理早停学习可复用表征
论文提出 BELT 方法，将结果预测与停止控制解耦：从冻结 LLM 隐状态学习对当前与未来答案的信念，再拟合线性停止策略。由于预测目标与 token 价格无关，一次探针即可通过 CPU 重拟合支持不同精度-成本权衡。在五个分布外数学基准上，Qwen3-1.7B 减少 41%、OLMo-3-7B-T…
arXiv cs.AI10 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 BELT 方法，将结果预测与停止控制解耦：从冻结 LLM 隐状态学习对当前与未来答案的信念，再拟合线性停止策略。由于预测目标与 token 价格无关，一次探针即可通过 CPU 重拟合支持不同精度-成本权衡。在五个分布外数学基准上，Qwen3-1.7B 减少 41%、OLMo-3-7B-T…
SABER 是一种无需训练的框架，通过构造语义扰动分支并探测结果一致性，实现大推理模型的稳定性感知早停。在多个基准上平均减少 30.2%-39.8% 的推理 token，同时保持与全长度推理相当的准确率。