arXiv cs.AI·59 天前★ 3

Prior-Guided Tuning 用自然语言先验改进低资源 LLM 训练

原文标题：Task-Level Natural Language Priors as Learning Signals for Low-Resource LLM Training

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

提出Prior-Guided Tuning视角，将自然语言先验作为辅助学习信号用于低资源大模型训练。引入Contrastive Prior Steering方法，在AmbiMath、Jigsaw等基准上显著提升性能，验证了该方法的有效性。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 低资源训练数据模糊或不完整时，大模型难以学习任务。
方法: 把任务级自然语言先验当作训练辅助信号而非输入上下文，提出对比先验引导，在监督目标上加入正负先验条件辅助损失。
结果: AmbiMath平均精确匹配97.6%；Jigsaw Macro F1比标准微调提升9.5个点，1/10数据略超全量微调；HANS非蕴含准确率在LLaMA 3.1 8B和Qwen 2.5 7B上分别提升8.3和5.2个点。
影响: 低资源场景下用自然语言先验做训练信号，可减少标注数据需求，适合领域定制模型开发。