#Zipf分布

随机特征 Bigram 模型的精确缩放定律

论文研究具有幂律（Zipf）词元统计的瓶颈 bigram 模型中的容量受限缩放，推导出预测遗憾关于模型宽度、词表大小和 Zipf 指数的缩放定律。理论在适当区间恢复经典神经缩放定律的函数形式，并在 WikiText2 和 OpenWebText 上得到实验验证。