★ 3
HeadWiseKV:混合长上下文模型的预算化逐头缓存驻留
HeadWiseKV是一种无需训练的框架,通过压缩混合语言模型的全局KV缓存来降低GPU内存消耗。在Qwen3.6-27B上,该方法在112K上下文长度下减少峰值内存8.59%,并将最大验证上下文从114K扩展到161K。
arXiv cs.AI60 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
HeadWiseKV是一种无需训练的框架,通过压缩混合语言模型的全局KV缓存来降低GPU内存消耗。在Qwen3.6-27B上,该方法在112K上下文长度下减少峰值内存8.59%,并将最大验证上下文从114K扩展到161K。
论文提出将联邦学习用于混合量子-经典模型,采用 Sherpa.ai 的盲垂直联邦学习协议(SBVFL)避免原始数据集中。在自建的 SMPP 基准上,SBVFL 将准确率从 0.7227 提升至 0.8757,接近非隐私集中式水平,且可训练参数远少于经典神经网络与随机森林。
论文提出 QTrans,用参数化量子电路构建注意力中的 query/key/value 特征,并以量子测量间的高斯距离推导注意力系数。结合量子前馈网络、残差连接与层归一化,形成端到端可训练的量子-经典混合框架。在 MR、CR、MPQA 三个数据集上较最优经典基线分别提升 2.88、3.17、3.7…
论文对建筑热需求短期预测的多种混合模型进行对比综述,评估数据驱动模型与元启发式等技术的结合。基于苏格兰家庭历史热需求与天气预报数据,对13种混合方法进行测试,其中EMD-LSTM-Markov在日前供暖与生活热水功率模式预测上精度最高,但对高功率尖峰存在低估。研究为建筑能源管理中的预测模型选型提供…
Unbiased 宣称其平台以“无偏见”为定位,并推出自研的混合 AI 模型 Pareto。属于初创公司产品发布,信息量有限,行业影响较小。