★ 4
研究:大型推理模型推理阶段的能力与效率缩放规律
论文用层次贝叶斯模型评估 DeepSeek-R1-Distill 系列在四类算术与算法推理任务上的能力与效率。结果显示,固定模型规模下解题正确率随问题规模近似指数衰减,衰减尺度随模型规模亚线性增长,即能力提升递减;输出长度随难度呈幂律增长,但幂律参数不随模型规模系统变化,说明更大模型并未更高效。
arXiv cs.LG39 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文用层次贝叶斯模型评估 DeepSeek-R1-Distill 系列在四类算术与算法推理任务上的能力与效率。结果显示,固定模型规模下解题正确率随问题规模近似指数衰减,衰减尺度随模型规模亚线性增长,即能力提升递减;输出长度随难度呈幂律增长,但幂律参数不随模型规模系统变化,说明更大模型并未更高效。
论文挑战了 Best-of-N 越狱攻击成功率随 N 呈幂律增长的既有结论,指出指数会随 N 漂移。作者提出一个物理屏障模型,用四个可解释参数刻画完整的 (N, M) 攻击面,并能从 N≤100 外推到 N=10^4,同时统一拟合五个模型并预测不同温度下的攻击成功率。