★ 2
混合专家模型中投机解码的边界研究
论文研究 MoE 模型投机解码中因专家加载依赖输入而导致的验证成本不稳定问题,将投机预算选择建模为离线随机最短路径问题。通过反事实模拟构建诊断 Oracle,在 Qwen3-Coder 与 EAGLE-3 组合上发现被拒候选形成严格线性边界。该结果为设计自适应在线启发式策略提供了数学参考点。
arXiv cs.LG41 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文研究 MoE 模型投机解码中因专家加载依赖输入而导致的验证成本不稳定问题,将投机预算选择建模为离线随机最短路径问题。通过反事实模拟构建诊断 Oracle,在 Qwen3-Coder 与 EAGLE-3 组合上发现被拒候选形成严格线性边界。该结果为设计自适应在线启发式策略提供了数学参考点。