★ 3
Mentored Decoding：更快推理兼质量提升
论文提出 mentored decoding，一种有损推测解码的形式化方法，从理论上证明其为何能在加速推理的同时提升质量。作者将推理与机器学习训练理论 boosting 建立联系，并推广到全部 f-散度。研究揭示若干关键性质，包括全变差情形的几何特性，以及一种与散度无关的 O(n) 空间数据结构，…
arXiv cs.LG35 天前
#理论证明
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文证明前缀微调可精确控制 Transformer 任意输出
论文回答了前缀微调表达能力的开放问题：只要目标输出位于预训练 Transformer 的值域内，就必然存在可显式计算的前缀使其生成该输出，且该假设是必要的。作者给出构造性证明，并在 GPT-2 与 Qwen3-4B 上实验验证前缀对输出的强控制力。
arXiv NLP13 天前
★ 2
COCO 问题实现多对数约束违反与近优遗憾
论文研究带对抗性凸损失与约束的在线凸优化（COCO），提出结合连续 Hedge 与收缩可行集消除的在线策略。该策略在保持 O(√(T log T)) 遗憾的同时，将累积约束违反从多项式级降至 O(log²T)，核心工具是 Grünbaum 不等式与自适应学习率势函数。
arXiv cs.LG27 天前
这个主题的相关资产
相关公司阿里巴巴1