#自注意力

共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

文档编辑后陈旧KV缓存的有预算修复

论文将KV缓存原地修复形式化为有预算重计算问题,在事实性RAG基准上比较多种免训练位置选择策略。结果显示连续编辑局部窗口在派生编辑场景下至少恢复0.94的答案余量,显著优于注意力、KV偏差与结构选择器,且修复速度比全量重预填充快13-21倍。

arXiv cs.AI46 天前
★ 2

GyroNovo:误差引导的肽段从头测序框架

针对串联质谱从头肽段测序中谱图稀疏、噪声大、碎片缺失的问题,该研究提出 GyroNovo 框架。它利用训练中观察到的解码器误差来调整缺失碎片插补目标,并通过旋转嵌入将峰间质量差编码进自注意力。在 NovoBench 上,肽段级精度提升约 9 个百分点,氨基酸级精度提升约 7 个百分点。

arXiv cs.LG35 天前

这个主题的相关资产

相关标签

自注意力 最新资讯与动态(2 篇) - 智讯 AI News