★ 3
CLIK：一次编码多次作答，将上下文内化为参数
论文提出 CLIK，一种上下文条件化的参数生成器，通过带交叉注意力的 Transformer 编码器一次前向生成 LoRA 参数，把文档知识内化进冻结基座模型，无需测试时梯度更新。生成的适配器可对同一文档的多次查询复用，在文档问答上优于现有超网络方法，但仍落后于直接读取上下文的基座模型。
arXiv cs.AI3 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 CLIK，一种上下文条件化的参数生成器，通过带交叉注意力的 Transformer 编码器一次前向生成 LoRA 参数，把文档知识内化进冻结基座模型，无需测试时梯度更新。生成的适配器可对同一文档的多次查询复用，在文档问答上优于现有超网络方法，但仍落后于直接读取上下文的基座模型。
论文提出 Cache2LoRA，用查询从可复用的冻结文档缓存中聚合证据，再生成 LoRA 参数更新，使模型无需在解码上下文中保留原文即可作答。在 17 项任务上宏 F1 达 0.663，接近全上下文 ICL 的 0.671；32K 文档场景下解码吞吐为全上下文 ICL 的 5.9 倍。研究还系统诊…