★ 3
潜在递归 LLM 系统的表征监督训练
论文指出 LLM 在连续空间推理时，仅用最终答案交叉熵监督会导致思维坍缩、保留无关信息等四类失败。作者提出 REST 训练目标，将有效思维表征的因果性、最小性、可分离性与稳定性转化为可微损失叠加到交叉熵上。在数学、科学、医学、代码生成等 7 个基准上，REST 相比纯交叉熵训练最高提升 7.5 个…
arXiv cs.AI33 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 LLM 在连续空间推理时，仅用最终答案交叉熵监督会导致思维坍缩、保留无关信息等四类失败。作者提出 REST 训练目标，将有效思维表征的因果性、最小性、可分离性与稳定性转化为可微损失叠加到交叉熵上。在数学、科学、医学、代码生成等 7 个基准上，REST 相比纯交叉熵训练最高提升 7.5 个…