★ 3
arXiv 研究 LLM 分布对齐及其泛化特性
论文研究如何让大模型输出分布与人类参考分布对齐，以及对齐后模型能否泛化到未见样本与无关话题。基于两个大规模基准发现，模型可实现分布对齐并泛化到同领域新问题，跨话题泛化取决于话题间关联；但对齐后的模型可能以出人意料的方式退化，例如丧失创造力，说明其泛化特性本质上不稳定。
arXiv NLP7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究如何让大模型输出分布与人类参考分布对齐，以及对齐后模型能否泛化到未见样本与无关话题。基于两个大规模基准发现，模型可实现分布对齐并泛化到同领域新问题，跨话题泛化取决于话题间关联；但对齐后的模型可能以出人意料的方式退化，例如丧失创造力，说明其泛化特性本质上不稳定。