★ 3
Grokking 记忆到泛化转变的量化规律
研究在模运算任务上扫描 384 组两层 MLP 配置，拟合出泛化起始时间的幂律标度关系，发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界，权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。
arXiv cs.AI51 天前
#相变
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
循环神经网络中的学习诱导动力学相变
论文建立非平衡动力学平均场理论（DMFT），描述循环神经网络学习过程中从混沌活动到稳定任务行为的转变。研究显示慢速反馈驱动学习产生演化的有效反馈强度，使网络在 DMFT 解的分岔点发生相变，并识别出临界反馈强度与依赖学习率的临界时间。理论预测的训练输出演化与数值模拟定量吻合。
arXiv cs.LG45 天前
★ 2
AI生成数据异常下的数据集临界性
研究探讨未来LLM训练数据中大量包含AI生成内容的影响，将AI生成数据视为与主数据点关联的异常，分析随机数据集的分解与欠采样特性。通过冗余图与迭代技术，证明强相异分解最小规模存在相变现象：异常数量低于阈值时由主数据决定，超过阈值后由异常主导。
arXiv cs.LG48 天前
这个主题的相关资产
相关公司xAI1