★ 3
Mentored Decoding：更快推理兼质量提升
论文提出 mentored decoding，一种有损推测解码的形式化方法，从理论上证明其为何能在加速推理的同时提升质量。作者将推理与机器学习训练理论 boosting 建立联系，并推广到全部 f-散度。研究揭示若干关键性质，包括全变差情形的几何特性，以及一种与散度无关的 O(n) 空间数据结构，…
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 mentored decoding，一种有损推测解码的形式化方法，从理论上证明其为何能在加速推理的同时提升质量。作者将推理与机器学习训练理论 boosting 建立联系，并推广到全部 f-散度。研究揭示若干关键性质，包括全变差情形的几何特性，以及一种与散度无关的 O(n) 空间数据结构，…