★ 2
随机特征 Bigram 模型的精确缩放定律
论文研究具有幂律（Zipf）词元统计的瓶颈 bigram 模型中的容量受限缩放，推导出预测遗憾关于模型宽度、词表大小和 Zipf 指数的缩放定律。理论在适当区间恢复经典神经缩放定律的函数形式，并在 WikiText2 和 OpenWebText 上得到实验验证。
arXiv cs.LG18 天前
#随机特征
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文分析随机特征 MPNN 跨图规模表达能力
论文建立群体级规模一致逼近框架，研究带连续随机节点特征的消息传递神经网络（MPNN）。作者证明在初始特征 Lipschitz 界与图规模无关时，连续随机特征可量化为有限颜色且误差任意小，据此证明这类 MPNN 并非规模一致通用，并分析颜色与独立试验带来的表达力增益，以及其与高阶 Weisfeile…
arXiv cs.LG21 天前
这个主题的相关资产
相关公司OpenAI1