★ 2
研究:Llama-3.1 文档级 LoRA 适配器开卷评分多测阅读行为
arXiv 论文在 Llama-3.1-8B-Instruct 上为 150 篇维基百科文章各训练一个 LoRA 适配器,发现开卷评分主要衡量所有适配器共有的阅读能力:随机适配器可复现专家适配器 82% 的开卷优势,但在闭卷填空探针上仅 2%。内容确实进入权重,但按权重空间或文本嵌入检索适配器的效…
arXiv NLP10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
arXiv 论文在 Llama-3.1-8B-Instruct 上为 150 篇维基百科文章各训练一个 LoRA 适配器,发现开卷评分主要衡量所有适配器共有的阅读能力:随机适配器可复现专家适配器 82% 的开卷优势,但在闭卷填空探针上仅 2%。内容确实进入权重,但按权重空间或文本嵌入检索适配器的效…