★ 2
教师几何结构决定师生网络可学习性
论文指出师生网络研究中常假设教师参数随机正态分布,忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率,识别出最大化与最小化节点差异的分布,并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。
arXiv cs.LG53 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出师生网络研究中常假设教师参数随机正态分布,忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率,识别出最大化与最小化节点差异的分布,并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。