★ 2
Sep-Latent:用分隔符锚点实现隐式推理压缩
论文提出Sep-Latent自适应隐式推理框架,以分隔符token作为结构语义锚点,通过注意力衰减机制压缩推理逻辑,并用多层蒸馏对齐显式与隐式路径。在GSM8k-Aug上以平均5.4个token达到56.8%准确率,优于固定长度隐式方法。
arXiv cs.AI13 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出Sep-Latent自适应隐式推理框架,以分隔符token作为结构语义锚点,通过注意力衰减机制压缩推理逻辑,并用多层蒸馏对齐显式与隐式路径。在GSM8k-Aug上以平均5.4个token达到56.8%准确率,优于固定长度隐式方法。