技术
Scaling Law（缩放定律）
缩放定律描述模型性能与参数量、数据量和计算量之间的幂律关系，解决资源分配与性能预测问题。它指导大模型训练，代表工作如OpenAI的Kaplan等，应用于GPT系列模型设计。
详细解释
缩放定律表明测试损失随模型规模、数据量和计算量增加而幂律下降，且存在最优分配。背景是大模型训练成本高昂，需预测性能。技术通过实验拟合曲线，指导如Chinchilla的优化，强调数据与参数同步缩放。
别名与相关写法
scaling law
相关术语
Generalization共现 2 篇
Self-distillation共现 1 篇
Long-Context共现 1 篇
Reward Model共现 1 篇
Multimodal共现 1 篇
Reasoning共现 1 篇
相关公司
相关资讯
研究：模型越大越依赖思维链，且与后训练无关2026/10/30
新缩放定律：合成数据改写比例随算力上升2026/10/26
生成式奖励模型扩展规律研究：评判准确率不等于优化效果2026/10/23
arXiv 论文提出长上下文持续预训练缩放定律2026/10/22
尺寸泛化的无维度缩放定律：指数分离2026/10/15
多模态数据混合的缩放定律：文本、视觉与音频2026/10/14
RL如何重塑大模型推理：迁移性、覆盖度与缩放律2026/10/6
研究：重新审视奖励优化的缩放定律2026/10/1