★ 2
研究：GPT-2 递归自训练中 Renyi 熵交叉顺序变化
论文对 GPT-2 进行九代递归自训练，发现随训练温度升高，Renyi 熵的变化会依次在不同温度点由损失转为增益，顺序为 min-entropy、碰撞熵、Shannon 熵与观测丰富度。在 T=1 时第 9 代词类型比第 0 代少 24%，但碰撞熵反而高 0.91 bit。作者建议在固定预算下报告…
arXiv NLP9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文对 GPT-2 进行九代递归自训练，发现随训练温度升高，Renyi 熵的变化会依次在不同温度点由损失转为增益，顺序为 min-entropy、碰撞熵、Shannon 熵与观测丰富度。在 T=1 时第 9 代词类型比第 0 代少 24%，但碰撞熵反而高 0.91 bit。作者建议在固定预算下报告…