★ 3
研究用重整化群理论定量描述神经网络 grokking 现象
论文检验标度与重整化群（RG）理论能否描述神经网络从记忆到泛化的延迟转变（grokking）。作者在两层网络模加任务上构造序参量与耦合矩阵，通过块自旋聚合执行实空间 RG，线性化后得到相关标度指数与五个临界指数，经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描…
arXiv cs.LG5 天前
#泛化
共 17 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究提出人格层级模型解释LLM微调泛化
arXiv 论文提出「人格层级模型」，认为 LLM 微调时存在一个共享默认人格影响跨上下文行为：修改共享人格会带来更广迁移，而只改局部人格则局限于特定上下文。研究在 120 个微调模型上验证，并提出人格保持正则化（PPR），在强化学习中把奖励黑客从 42-55% 降至 0.2% 以下。
arXiv NLP25 天前
★ 3
Forking：数据回放下的突然过拟合现象
论文研究在NanoGPT自动研究中发现的泛化失败现象「forking」：数据回放下，带过度编码n-gram记忆分支的模型在epoch边界出现训练与验证损失的急剧分离，形似叉子。机制上，重复更新强化训练中出现的续写、抑制未见续写，n-gram模块放大了该效应，低频上下文贡献最大差距。作者将其与gro…
arXiv cs.LG31 天前
★ 3
研究：预训练与中期训练让模型从奖励中学到什么
论文研究预训练与中训练如何提供使奖励适配有效的信息与计算，区分了在训练奖励上一致但泛化答案不同的机制。实验用 Qwen2.5 检查点验证分工：正确的源监督与首操作监督使序列模型成功率达 82.61%，远高于随机源对照的 44.15%。记忆回放可在奖励适配中保留检索能力，GSM8K 与 Hotpot…
arXiv cs.LG32 天前
★ 3
ToolCompass：引导而非抑制工具试错
论文提出ToolCompass后训练框架，通过按共享功能组织工具调用表示来引导LLM智能体的工具试错，避免浪费交互预算同时保留必要探索。方法将每个功能类建模为von Mises-Fisher分布，无需真实调用轨迹或访问未见工具，也无推理开销。在AppWorld与FTRL上，OOD任务成功率最高提升…
arXiv cs.AI40 天前
★ 3
研究揭示强化学习后训练对语言模型组合推理的影响
论文提出依赖图框架形式化组合推理，划分出三个复杂度递增的组合层级，并用数据结构任务进行实证。研究发现一致的「分解到组合」不对称性：分解技能训练难以迁移到组合任务，而组合任务训练更易反向迁移。作者给出理论解释，并在长度外推、结构分布偏移及真实工具调用基准上验证该现象。
arXiv cs.AI45 天前
★ 3
研究揭示 Grokking 是分布式电路的频谱重编码
论文提出 Transition Games 方法，探究 Transformer 从记忆转向泛化的功能位置。结果显示泛化收益呈分布式，并伴随 block-0 注意力的前瞻性偏置，二阶模式贡献了 67%–92% 的加法对比。研究否定了“MLP 记忆、注意力泛化”的简单二分，认为 grokking 是既…
arXiv cs.LG46 天前
★ 3
无需推理轨迹训练专家模型实现领域专家蒸馏
论文研究当专家模型仅用问答对训练、缺乏显式推理监督时，其生成的推理轨迹由什么决定。作者将学生蒸馏作为无关探针，发现专家优化隐式地从潜在轨迹空间中选择，27组专家-学生对的特化-泛化曲线高度相关。显式控制专家的分布漂移可系统性地在领域精度与通用能力保留间移动权衡，在化学、物理与多语言场景中均成立。
arXiv cs.LG48 天前
★ 3
Grokking 记忆到泛化转变的量化规律
研究在模运算任务上扫描 384 组两层 MLP 配置，拟合出泛化起始时间的幂律标度关系，发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界，权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。
arXiv cs.AI51 天前
★ 3
研究揭示机器学习研究智能体为何不过拟合
新研究指出，AI 智能体学习的是数据的可压缩模型，其容量不足以支撑记忆式记忆，因此不易过拟合。这一发现有助于理解智能体泛化能力的来源，对自动化科研与模型设计具有启示意义。
Amazon Science Blog52 天前
★ 3
分布偏移下传感器AI的可问责不确定性评估
论文提出一种分阶段、可问责的评估协议，将部署模型评估视为带声明参考水平与量化不确定性的测量。协议设置设备、受试者与时间四层累积泛化阶段，用重复训练的分位数而非均值做决策，并引入超出当前范围率揭示隐性误导。在真实矿井地磁定位任务中，模型在训练34个月后、未知设备代际与留出测量员条件下仍达16.5倍随…
arXiv cs.LG53 天前
★ 3
世界时间计算：用可验证代码世界模型训练LLM
论文提出“世界时间计算”，将领域动态写成代码模板并实例化为大量可执行、可验证的世界模型，从而廉价制造精确标注的轨迹用于微调 LLM。实验显示该方法能提升对未训练过世界的泛化能力，在 0.5B 模型上提升 29 分，且标签精确性（而非任务多样性）是增益主因。增益随推理步数增长、模型规模增大而饱和，像…
arXiv cs.LG53 天前
★ 3
测量AI偏好：模型与工具各占多少？
研究固定结果和模型，仅变化测量工具，发现模型对结果的排序在不同工具间泛化系数仅为0.348。单一工具获得的偏好信息有限，需要约38种工具才能达到0.80的泛化系数。这表明AI偏好测量结果高度依赖工具。
arXiv cs.AI68 天前
★ 2
平坦度代理并非函数：鲁棒性证书与训练干预
论文指出有效的曲率上界并不足以支撑鲁棒性证书或对内在预测器属性的训练干预。作者以最后一层相对平坦度代理为例，证明经验风险平稳性无法消除逐点一阶损失项，保留的证书表达式会低估损失增幅逾 210 倍，并给出全局有效、规范不变的特征空间修复。研究还表明常见行 softmax 平移会使代理无界，行中心化可…
arXiv cs.LG32 天前
★ 2
周期轨迹算子学习为何失败
论文研究周期解算子学习中数据记录与表示方式的影响，发现保守的长时间积分与宽窗口记录反而让轨迹难以学习，未对齐轨迹即使在训练分布内泛化也很差。作者用频率差异随时间累积的机制解释两类失败，并推导固定窗口预测的样本下界。研究表明将归一化波形与周期分开学习可同时规避这两类失败。
arXiv cs.AI34 天前
★ 2
预条件指数转负：学习率耦合与跨环境泛化
论文通过四环境配对分类任务，系统研究自适应优化器中二阶矩估计幂次 p 与全局学习率 η 的交互。发现使跨环境准确率最优的 p 随 log10(η) 近似线性下降，斜率约 -0.27 至 -0.30。研究还揭示源域验证会系统性地选出与最大化环境鲁棒性不同的预条件机制，属单种子有限预算的机理研究。
arXiv cs.LG35 天前
★ 1
符号回归中系数校准作为选择压力
论文指出模因符号回归中系数校准协议本身参与进化选择，集中式校准忽略协变量偏移下的稳定性。提出 Dirichlet-Sinkhorn 常数平均（DSCA），在异构子集上独立校准并取参数均值，在合成基准与十个真实数据集上改善函数恢复与精度-复杂度权衡。
arXiv cs.LG24 天前