#激活梯度

LLM微调是否需要人类可读文本

论文探究人类可读性是否为LLM有效微调的必要条件，提出DASA方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入，直接用于下游微调。在Llama与Qwen家族六个1B至32B模型、六个基准上，DASA在匹配LoRA设置下性能与源自然语言数据相当甚至更优，并比GRADMM快3.6至4.9倍。