★ 3
CLIK：一次编码多次作答，将上下文内化为参数
论文提出 CLIK，一种上下文条件化的参数生成器，通过带交叉注意力的 Transformer 编码器一次前向生成 LoRA 参数，把文档知识内化进冻结基座模型，无需测试时梯度更新。生成的适配器可对同一文档的多次查询复用，在文档问答上优于现有超网络方法，但仍落后于直接读取上下文的基座模型。
arXiv cs.AI3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 CLIK，一种上下文条件化的参数生成器，通过带交叉注意力的 Transformer 编码器一次前向生成 LoRA 参数，把文档知识内化进冻结基座模型，无需测试时梯度更新。生成的适配器可对同一文档的多次查询复用，在文档问答上优于现有超网络方法，但仍落后于直接读取上下文的基座模型。