★ 4
KITE：面向高效智能体 LLM 扩展的 KV 不变 Transformer 扩展
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
arXiv cs.LG39 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
论文在五种7-9B指令微调模型、五个短答案基准及代码基准上扫描八种智能体编排架构，发现团队扩展收益高度依赖任务：算术题从3次到30次调用准确率最多提升17点，而ARC、GPQA、MMLU最多仅4点。作者提出精确的生成-变换分解，将准确率变化拆为覆盖红利与变换变化，指出团队扩展是任务与架构特定的赌注…