★ 2
DLFP:解码延迟反馈预填充控制器及其泛化局限
论文提出无模型控制器 DLFP,仅调整与活跃解码重叠的预填充工作,用观测间隔作为比例反馈动态调整预填充块大小。在单张 A100 上的 Qwen3-0.6B 实验中,P99 词间延迟平均降低 27.7%,但首 token 延迟上升 34.8%。该机制无法泛化到 Qwen3-8B、Qwen3-32B …
arXiv cs.AI32 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出无模型控制器 DLFP,仅调整与活跃解码重叠的预填充工作,用观测间隔作为比例反馈动态调整预填充块大小。在单张 A100 上的 Qwen3-0.6B 实验中,P99 词间延迟平均降低 27.7%,但首 token 延迟上升 34.8%。该机制无法泛化到 Qwen3-8B、Qwen3-32B …
文章针对「算力荒」现象提出质疑,认为机房堆满算力卡却仍出现业务排队,反映的是算力调度与利用率问题而非单纯供给不足。评估报告拆解了所谓「算力荒假象」背后的成本与效率账本。
空客发布 Scikit-Decide,一个面向强化学习、自动规划与调度的 AI 框架。它提供统一接口以整合多种决策算法,适用于工业级复杂调度场景。