Prefix Tuning（前缀微调）

背景：随着预训练语言模型规模增大，全参数微调需要大量计算资源和存储。技术说明：Prefix Tuning在每一层Transformer的键值对前拼接一组可学习的连续向量（前缀），这些前缀参与注意力计算，从而引导模型生成任务特定的表示。训练时只更新前缀参数，参数量可减少至0.1%。该方法在低资源场景下表现优异，并启发了Prompt Tuning、P-Tuning等工作。