★ 2
RA-LMC：重尾噪声下LLM贝叶斯微调采样
该论文针对随机梯度朗之万蒙特卡洛（SG-LMC）在非对数凹采样中依赖全局Lipschitz梯度和有界噪声方差的问题，提出状态依赖重尾噪声模型与广义光滑性假设，并给出R-LMC、A-LMC、RA-LMC三种方法。作者在Fisher信息下建立非渐近收敛保证，并在LLM与视觉语言模型的贝叶斯微调实验中显…
arXiv cs.LG21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文针对随机梯度朗之万蒙特卡洛（SG-LMC）在非对数凹采样中依赖全局Lipschitz梯度和有界噪声方差的问题，提出状态依赖重尾噪声模型与广义光滑性假设，并给出R-LMC、A-LMC、RA-LMC三种方法。作者在Fisher信息下建立非渐近收敛保证，并在LLM与视觉语言模型的贝叶斯微调实验中显…