★ 2
arXiv 论文提出 Prompt-TIES 与 Prompt-DARE 提升模型提示鲁棒性
该论文研究如何通过训练阶段而非推理阶段的提示优化来提升大语言模型对提示措辞的鲁棒性。作者发现同一提示的不同改写版本在梯度上存在干扰，57% 出现符号冲突，朴素梯度平均会损失约五分之一幅度。为此提出 Prompt-TIES 与 Prompt-DARE 两种梯度合并方法，在四个模型上将近乎减半逐样本方…
arXiv NLP3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文研究如何通过训练阶段而非推理阶段的提示优化来提升大语言模型对提示措辞的鲁棒性。作者发现同一提示的不同改写版本在梯度上存在干扰，57% 出现符号冲突，朴素梯度平均会损失约五分之一幅度。为此提出 Prompt-TIES 与 Prompt-DARE 两种梯度合并方法，在四个模型上将近乎减半逐样本方…