★ 2
研究:指令微调使语言模型偏好避开整数与整十数
一篇 arXiv 论文以无采样误差的方式测量语言模型在「随机选一个数」任务上对 1 到 N 各整数的概率分布,覆盖 18 个开源模型系列、29 种解码配置。结果显示指令微调在全部 15 组基座/微调配对中都让分布更不均匀,并新增「回避整十数」启发式、强化「回避端点」倾向。研究还发现模型并未形成跨模…
arXiv NLP5 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
一篇 arXiv 论文以无采样误差的方式测量语言模型在「随机选一个数」任务上对 1 到 N 各整数的概率分布,覆盖 18 个开源模型系列、29 种解码配置。结果显示指令微调在全部 15 组基座/微调配对中都让分布更不均匀,并新增「回避整十数」启发式、强化「回避端点」倾向。研究还发现模型并未形成跨模…
论文研究一维概率测度在二次 Wasserstein 距离下的最优 M 原子量化,并通过切片扩展到高维。核心结果是将平方距离误差精确分解为残差与划分失配项,为任意质心草图提供可计算误差证书。