★ 2
论文分析随机特征 MPNN 跨图规模表达能力
论文建立群体级规模一致逼近框架，研究带连续随机节点特征的消息传递神经网络（MPNN）。作者证明在初始特征 Lipschitz 界与图规模无关时，连续随机特征可量化为有限颜色且误差任意小，据此证明这类 MPNN 并非规模一致通用，并分析颜色与独立试验带来的表达力增益，以及其与高阶 Weisfeile…
arXiv cs.LG21 天前
#表达能力
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 1
Transformer 注意力头与序列有序性判定
论文证明判断一串比特是否有序的问题无法由单头单层 Transformer 完成，但可由双头单层 Transformer 完成。与以往类似结果不同，该结论假设 Transformer 带有输出 MLP。这一结果细化了 Transformer 表达能力的理论边界。
arXiv cs.AI40 天前