★ 2
带正则的二次神经网络最小二乘训练及系统辨识应用
论文提出一种带正则化的最小二乘方法训练二次神经网络，为正则系数为正时的训练优化问题给出下界，并推导权重及其敏感度的闭式解。该方法避免反向传播陷入局部极小，计算时间显著降低，并建立了下界优化与核范数最小化的联系。
arXiv cs.LG46 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出一种带正则化的最小二乘方法训练二次神经网络，为正则系数为正时的训练优化问题给出下界，并推导权重及其敏感度的闭式解。该方法避免反向传播陷入局部极小，计算时间显著降低，并建立了下界优化与核范数最小化的联系。
论文对比时间序列预测中两种最小二乘目标：一种直接最小化被报告坐标上解码潜变量的误差，另一种在固定秩下拟合整个下一向量再冻结编码器接预测头。作者证明标量目标加线性解码器时，秩≥1的潜变量均等价于普通最小二乘，各向同性约束仅是重缩放；并给出秩1拟合在特定序列上偏离信号、开环误差随步数放大的实例。