★ 2
arXiv 论文：LLM 隐状态层选择优化投机解码
论文提出基于信息量与多样性（矩阵熵与 CKA）的多层隐状态选择框架，用于投机解码，并引入 token 熵过滤。在 EAGLE3 风格投机解码中，所选层组合优于固定基线规则，并解释了默认选择为何仍有竞争力。
arXiv NLP21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出基于信息量与多样性（矩阵熵与 CKA）的多层隐状态选择框架，用于投机解码，并引入 token 熵过滤。在 EAGLE3 风格投机解码中，所选层组合优于固定基线规则，并解释了默认选择为何仍有竞争力。