★ 3
研究定位 MoE 预填充专家削减损伤：少数提示词 token 决定短答 F1 损失
论文通过 token、层与注意力路径干预，定位 MoE 模型预填充阶段减少路由专家的性能损伤来源。在 Qwen3-30B-A3B 与 DeepSeek-V2-Lite 等四个模型族中，损失主要来自答案前的聊天模板 token 或指令所在的首批提示 token。将约 4% 敏感位置保留全专家可将 F…
arXiv NLP14 天前
#模型服务
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SGLang：面向LLM与多模态模型的高性能推理框架
LMSYS 托管的开源推理框架 SGLang 支持大语言、视觉语言与扩散模型，针对智能体负载、大规模服务与强化学习 rollout 优化，内置图像视频生成引擎 SGLang Diffusion，支持多种 GPU、TPU、NPU 与 Apple Silicon 平台。
Hacker News – LLM17 天前
这个主题的相关资产
相关公司深度求索（DeepSeek）1