★ 3
SABER:基于对抗分支探测的稳定性感知早停
SABER 是一种无需训练的框架,通过构造语义扰动分支并探测结果一致性,实现大推理模型的稳定性感知早停。在多个基准上平均减少 30.2%-39.8% 的推理 token,同时保持与全长度推理相当的准确率。
arXiv cs.AI63 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
SABER 是一种无需训练的框架,通过构造语义扰动分支并探测结果一致性,实现大推理模型的稳定性感知早停。在多个基准上平均减少 30.2%-39.8% 的推理 token,同时保持与全长度推理相当的准确率。