技术
Inference Scaling(推理扩展)
推理缩放指在模型推理阶段通过增加计算量(如采样多次、搜索)来提升生成质量,解决模型能力受限于训练规模的问题。典型应用包括思维链采样和树搜索,代表工作有OpenAI的o1系列和Google的AlphaCode。
详细解释
推理缩放与训练缩放相对,强调在测试时投入更多计算资源。方法包括:多次采样并投票(如Self-Consistency)、树搜索(如ToT)、以及迭代优化。这些技术能显著提升复杂推理任务的表现。代表工作有OpenAI o1、DeepMind的AlphaCode和STaR。
别名与相关写法
inference scaling