★ 3
研究提出HSDN依赖感知思维链压缩,用于金融推理
本文提出层次语义蒸馏网络(HSDN),用于压缩思维链推理过程,同时保持答案准确性和逻辑连贯性。HSDN结合语义分割、依赖图构建、双编码器重要性评分、约束段选择和局部边界重写。在AFAC2025基准上,HSDN实现了91.0%的准确率和68.4%的压缩率,优于强压缩基线。
arXiv cs.AI61 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
本文提出层次语义蒸馏网络(HSDN),用于压缩思维链推理过程,同时保持答案准确性和逻辑连贯性。HSDN结合语义分割、依赖图构建、双编码器重要性评分、约束段选择和局部边界重写。在AFAC2025基准上,HSDN实现了91.0%的准确率和68.4%的压缩率,优于强压缩基线。
该研究探究推理结构是否在令牌预算阈值下有益。在金融推理任务上,验证搜索架构在1500令牌后超越单体模型,最高达44%准确率。交叉点在1000-1500令牌之间,表明规划开销在低预算时有害,高预算时有益。
论文提出 Fin-SD,一种面向多步推理的局部后见自蒸馏方法:学生模型自行定位首个错误步骤并写简短批评,截断轨迹后以提示条件化冻结副本作为教师,用反向 KL 蒸馏,无需外部模型提供梯度。在 GPT-OSS-20B 上应用后发现,将批评替换为通用反馈仍能复现全部 3.03 个百分点增益,说明收益来自…