★ 2
DLFP：解码延迟反馈预填充控制器及其泛化局限
论文提出无模型控制器 DLFP，仅调整与活跃解码重叠的预填充工作，用观测间隔作为比例反馈动态调整预填充块大小。在单张 A100 上的 Qwen3-0.6B 实验中，P99 词间延迟平均降低 27.7%，但首 token 延迟上升 34.8%。该机制无法泛化到 Qwen3-8B、Qwen3-32B …
arXiv cs.AI32 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出无模型控制器 DLFP，仅调整与活跃解码重叠的预填充工作，用观测间隔作为比例反馈动态调整预填充块大小。在单张 A100 上的 Qwen3-0.6B 实验中，P99 词间延迟平均降低 27.7%，但首 token 延迟上升 34.8%。该机制无法泛化到 Qwen3-8B、Qwen3-32B …