★ 3
LLM推荐系统安全约束微调
论文训练一个推荐LLM，基于大型视频流媒体服务的用户观看历史生成个性化推荐解释，要求解释忠实于所关联节目且严格无害。作者训练两个覆盖三项标准的LLM评判奖励模型，并提出约束GRPO方法。在真实测试集上，三项标准全通过率从0.649提升至0.956（自有评判）与0.677至0.931（独立评判），且…
arXiv cs.AI48 天前
#LLM微调
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Optimal Hydra：面向 LLM 微调的模型异构联邦学习
论文提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架，结合全局层选择与客户端特定注意力头选择，依据本地数据分布生成客户端专属子网络 Hydra-nets。研究称这是首个针对 LLM 微调的模型异构联邦学习方法。在三个数据集上显著优于基线方法，同时降低本地资源需求。
arXiv cs.LG17 天前
★ 2
RA-LMC：重尾噪声下LLM贝叶斯微调采样
该论文针对随机梯度朗之万蒙特卡洛（SG-LMC）在非对数凹采样中依赖全局Lipschitz梯度和有界噪声方差的问题，提出状态依赖重尾噪声模型与广义光滑性假设，并给出R-LMC、A-LMC、RA-LMC三种方法。作者在Fisher信息下建立非渐近收敛保证，并在LLM与视觉语言模型的贝叶斯微调实验中显…
arXiv cs.LG21 天前