★ 3
NGN：将神经网络规模作为可微计数来学习
论文提出神经发生网络（NGN），用可学习边界为每组有序结构组件选择激活前缀，使网络规模在训练中直接作为可微计数被优化。该方法在 MLP、卷积、图网络、Transformer、状态空间模型、LoRA 与适配器上验证，部署学习到的前缀通常性能损失很小。
arXiv cs.LG39 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出神经发生网络（NGN），用可学习边界为每组有序结构组件选择激活前缀，使网络规模在训练中直接作为可微计数被优化。该方法在 MLP、卷积、图网络、Transformer、状态空间模型、LoRA 与适配器上验证，部署学习到的前缀通常性能损失很小。
论文研究存在有向环与未知数量外生隐混杂（有上界）的线性高斯结构因果模型中的因果结构学习。作者推导观测变量协方差，提出边际准等价概念，并将结构学习表述为带对数复杂度惩罚的高斯负对数似然最小化。通过 Bernoulli 门参数化边与候选隐变量，得到闭式可微复杂度惩罚，实验显示恢复误差低于既有方法。