★ 3
论文研究虚拟世界持续预训练，0.8B-27B 模型具身智能体扩展规律
论文通过 120 组训练配置，系统研究持续预训练在数据量、多样性与模型规模三个维度上对虚拟世界具身智能体的影响，模型规模覆盖 0.8B 至 27B。结果显示更多数据提升语料内表现，多样性改善向相关世界迁移但对远距离世界增益有限，模型规模提升数据效率却在单世界训练下泛化更差。作者拟合出验证损失与三要…
arXiv cs.AI11 天前
#缩放律
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
RL如何重塑大模型推理：迁移性、覆盖度与缩放律
一篇新 arXiv 论文系统研究强化学习对 LLM 推理能力的影响，试图解释此前看似矛盾的证据：数学训练能提升其他领域表现，但 Pass@1 提升的同时 Pass@N 可能低于基座模型。作者在 Qwen 与 Gemma 系列上验证了跨域增益与遗忘并存、大采样预算下覆盖度有增有减的现象，并提出两阶段…
arXiv cs.LG27 天前
★ 3
研究：语言模型的上下文绑定容量上限
论文测量语言模型在丢失实体-值对应关系前能回忆多少绑定，对 12 个 3B 以下模型绘制连续回忆曲线，并对 30 个 12B 以内开源模型做阈值扫描。结果显示半数回忆负载遵循幂律 K50=cN^α，α 约为 0.82。研究还分析了干扰如何降低测得容量，并将该测量与工作记忆和指令遵循联系起来。
arXiv cs.LG35 天前
★ 2
arXiv 论文提出图像自蒸馏数据密度缩放律
一篇 arXiv 论文研究图像自蒸馏模型中的数据重复训练效应，发现重复使用同一批样本对下游性能的影响因数据集而异，某些情况下在较小随机子集上反复训练反而优于使用更多唯一样本。作者提出一种改进的 Chinchilla 式缩放律，同时考虑唯一样本数与每样本重复次数，为数据-算力权衡提供新框架。
arXiv cs.LG18 天前
★ 2
SGA：时间序列基础模型多步预测的不确定性量化
针对时间序列基础模型（TSFM）多步预测中固有的不确定性，论文提出 Slicing-Graphing-Alignment（SGA）方法。该方法用有向无环图刻画所有潜在预测分支的拓扑结构，并以图复杂度界定多步预测的不确定性。在 11 个 TSFM 与 27 个数据集上的实验显示，SGA 在误差排序上…
arXiv cs.LG38 天前
★ 2
无流形的对称性：轨道上的内在维度
论文研究神经网络缩放律中内在维度估计在有限群轨道上的失效问题。以模加法为例，传递性使标准维度估计器退化为点质量而无法定义。作者证明该失效具有普遍性，并提出以隐藏宽度指数函数替代幂律，拟合优度显著更高；同时发现临界宽度随群阶下降而非上升，与容量计数预期相反。
arXiv cs.LG46 天前