技术
power sampling(幂采样)
power sampling是一种在生成模型推理时通过调整采样温度或概率分布幂次来平衡生成多样性与质量的采样策略,解决文本生成中重复与连贯性矛盾的问题,常用于大语言模型解码。
详细解释
在自回归生成中,模型输出下一个词的概率分布。power sampling通过对概率分布取幂(p^α)并重新归一化,控制采样的锐度:α>1时分布更尖锐,生成更确定;α<1时更平坦,增加多样性。该方法与温度采样、top-k和核采样互补,被用于对话、故事生成等任务,以缓解重复和模式崩溃。
别名与相关写法
power sampling
相关术语
Prefetching共现 1 篇
SAM共现 1 篇
相关公司
相关资讯
PreSTO:预测式子树叶预取加速 LLM 幂采样2026/10/12