★ 4
更多GPU还是更小缓存?张量并行与KV压缩对比
研究将张量并行和KV压缩配置放在同一成本轴上比较,发现压缩在成本上便宜1.2到2倍,而张量并行是改善延迟的唯一杠杆。模型大小与设备内存的边界约在36B参数,低于此压缩占优,高于此张量并行成为必需。
arXiv cs.AI68 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究将张量并行和KV压缩配置放在同一成本轴上比较,发现压缩在成本上便宜1.2到2倍,而张量并行是改善延迟的唯一杠杆。模型大小与设备内存的边界约在36B参数,低于此压缩占优,高于此张量并行成为必需。
论文通过私有、抗污染的256项任务套件,对比同一模型在不同智能体框架下的表现,检验厂商原生框架是否更优。结果显示Claude Opus 4.8与GPT-5.5在原生与中立框架间均无显著平均优势,且Opus在不同任务分层上呈现相反趋势。研究还发现中立框架每解决一题成本更高,并修正了此前因遥测缺陷导致…
FLARE框架结合模糊逻辑、时间驱动作业成本法和投资回报分析,评估医疗AI的财务和运营影响。案例研究显示,AI辅助大血管闭塞检测在年患者量约5000时实现正投资回报,盈亏平衡点约为3992例。
该论文提出以「稳态学习」评估持续学习系统,在 BIRD-SQL 一级方程式数据集上考察长周期表现。结果显示,在 gpt-5.6-luna 上,无界上下文 ICL 的后期探测次数从 4.6-5.6 降至 0.95,但命中率提升有限,上下文膨胀至约 95k token、成本近乎翻倍。作者认为短周期增益…