★ 3
纳德拉重新思考「更强的 AI 是否更安全」
微软 CEO 萨提亚·纳德拉在访谈中表示，自己对 AI 对齐问题的看法发生转变，认为问题性质会随模型能力规模而变化，因此「更强即更安全」的假设值得重新审视。该观点在 AI 安全社区引发讨论。
Hacker News – AI5 天前
#缩放定律
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
新缩放定律：合成数据改写比例随算力上升
论文提出针对合成数据改写的缩放定律，用模型规模、训练 token 数、改写 token 占比与自然数据轮数预测损失，并把生成改写所耗算力计入成本。在算力受限设定下，最优改写比例随算力从 3e18 FLOPs 时的不足 10% 升至 1e22 FLOPs 时的 32%；据此外推训练的 220 亿参数…
arXiv cs.LG7 天前
★ 3
arXiv 论文提出长上下文持续预训练缩放定律
研究团队建立经验加性幂律，将长上下文性能与模型规模、短上下文预训练与长上下文持续预训练（LCCP）的 token 预算关联起来。在五种模型规模、上百种预算配置上验证该定律可外推，并提出 Constant-Last4 训练观测协议，在 1.22B 模型约 100B LCCP token 上准确预测性…
arXiv NLP11 天前
★ 3
研究揭示智能体强化学习数据缩放规律与合成策略
研究将智能体 RL 数据拆解为任务、环境、轨迹三个基数轴，并在多类 LLM 与领域上拟合缩放关系，发现缩放指数排序为环境 > 任务 > 轨迹。作者用拟合规律为合成方法定价，识别合成数据崩塌临界比，并推导出 Chinchilla 式算力最优配方，实测比主流「扩轨迹」做法提升至多 1.7 倍算力效率。
arXiv cs.LG13 天前
★ 3
尺寸泛化的无维度缩放定律：指数分离
论文建立尺寸泛化的统计学习理论，证明样本复杂度存在尖锐的指数分离：多项式源衰减仅使尺寸泛化误差以 (log n)^{-Θ(1)} 衰减，而域内学习可达 n^{-Θ(1)}。研究进一步给出指数源条件以恢复多项式样本复杂度，并提供匹配的极小极大下界，形成无维度缩放定律。
arXiv cs.LG18 天前
★ 3
多模态数据混合的缩放定律：文本、视觉与音频
研究基于 MoE 架构开展 268 组实验（457M 至 8.3B 参数、最多 1500 亿 token），推导文本、视觉、音频三模态的数据混合缩放定律。发现音频偏好扩参数、文本视觉需均衡扩展，视觉音频数据重复超 2 倍收益甚微，且跨模态干扰高度不对称。
arXiv NLP19 天前
★ 3
首个三模态掩码扩散模型MDM发布，从零预训练文本图像音频
研究者提出首个从零预训练的三模态掩码扩散模型（MDM），覆盖文本、图文与音频文本数据。论文系统分析了多模态缩放定律、模态混合比例、噪声调度与批大小效应，并给出优化的推理采样默认参数。批大小分析还导出了基于随机微分方程（SDE）的新方法。
Apple Machine Learning Research19 天前
★ 3
LLM 压缩的能力缩放下降定律
论文系统研究剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成与问答任务上测量能力损失，并关联模型规模、训练阶段、压缩配置与数据可用性。作者提出简洁预测关系，可将剪枝预测器拟合所需配置测量量减半，并在新模型状态上保持精度。研究还评估了这些预测在压缩方法选择中的决策价值。
arXiv cs.LG28 天前
★ 3
研究：重新审视奖励优化的缩放定律
论文研究 AI 对齐中针对奖励模型优化的缩放规律，厘清性能如何随偏好训练数据量与 KL 散度预算共同变化。作者提出信息论模型，证明性能大致按 Θ(√min{log(M), K}) 缩放并给出紧致可达的构造过程。用 70B 金标准奖励模型生成反馈、0.6B 至 4B 代理模型训练的实证显示，该定律拟…
arXiv cs.LG32 天前
★ 3
研究揭示自回归预测中数据与记忆的谱缩放规律
研究揭示自回归预测中数据量与学习记忆量由同一预测能量谱支配，并证明了一个极小极大定律，说明数据决定分辨率、记忆决定最优比特分配达到的水平。实验验证了数据-记忆坍缩与耦合指数，并考察了六种预训练模型规模下的权重量化。
arXiv cs.LG48 天前
★ 2
论文提出安全探针缩放定律：可用模型规模预测探针误差
一篇 arXiv 论文研究语言模型安全探针的性能能否提前预测。作者构建六个规模与难度足够的新安全数据集，在五个模型家族的 20 个基座模型上训练两种探针架构，标签量从 32 到 100 万。结果显示探针误差遵循两条简单缩放定律：最低可达误差随模型规模呈幂律下降，误差随标签数增加而逼近下限。该定律可…
arXiv cs.AI10 天前
★ 2
随机特征 Bigram 模型的精确缩放定律
论文研究具有幂律（Zipf）词元统计的瓶颈 bigram 模型中的容量受限缩放，推导出预测遗憾关于模型宽度、词表大小和 Zipf 指数的缩放定律。理论在适当区间恢复经典神经缩放定律的函数形式，并在 WikiText2 和 OpenWebText 上得到实验验证。
arXiv cs.LG18 天前
★ 2
物理感知 ACOPF 代理学习的缩放定律
论文研究交流最优潮流（ACOPF）学习型代理的物理可行性与规模的权衡，比较 MSE 与增广拉格朗日（AL）两种训练目标。结果显示两者均随规模呈幂律改善，但 MSE 主要受模型容量支配，而 AL 在模型与数据间更均衡；MSE 下约束违反随网络规模增长的速度约为 AL 的两倍。AL 在约 10 倍训练…
arXiv cs.LG47 天前