★ 2
验证学习理论：AI 辅助判断中的核查与留存过程模型
论文提出验证学习理论（VLT），形式化描述 AI 辅助下人们核查证据与保留规则使用之间的关系，把感知到的助手可靠性与核查行为、核查历史与规则留存相连接。模型预测感知到助手可能出错可提升延迟的独立判断，并给出可检验的实验设计；目前结论来自模拟，尚未经实证验证。
arXiv cs.AI3 天前
#学习理论
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文提出纤维调控与获取理论，在 Qwen2.5-32B 验证头部修复与 LoRA 更新
研究提出纤维调控理论（FRT）与纤维获取理论（FAT），分别描述已有功能的受保护修复与可训练结构的形成与更新，并刻画二者的联合可行性与响应可达性。作者在 Qwen2.5-32B 上实现受保护头部修复与固定容量 LoRA 更新，协同策略在四次比较中均取得更高教师强制 Exact 准确率。
arXiv cs.LG11 天前
★ 2
论文提出可认证语言生成并给出稳定生成有限见证刻画
论文研究极限语言生成的稳定性，并提出更强的可认证性概念，要求生成器能从观测判断当前输出有效。作者引入正确性、稳定性、可认证性三级教学维度，在成员查询模型下刻画稳定与可认证生成，并给出类似 Angluin tell-tale 的有限见证刻画。
arXiv cs.LG11 天前
★ 2
大初始化下逻辑回归梯度下降轨迹的理想路径逼近
该论文研究从预训练模型出发继续训练时，大尺度初始化如何影响后续训练轨迹。作者对严格线性可分数据上的全批量逻辑回归梯度下降轨迹做几何逼近，构造出由有限线性段组成的唯一连续理想路径，分为负间隔修正与最小间隔增长两个阶段。研究证明经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会一致收敛到该路径，…
arXiv cs.LG27 天前
★ 2
任务信息与状态前沿的资源充分学习理论
论文研究系统在下游任务完全已知前被压缩时，需要保留多少状态以及提前任务信息能节省多少。对有限线性任务族，给出以建议字母表大小 K 为参数的精确前沿公式，并推导近似奇异值前沿、公共核心下界与直和律，同时证明寻找最优建议划分是强 NP 难的。三个例子展示软max 注意力、数字孪生与分层多任务模型中的状…
arXiv cs.LG42 天前
★ 2
随机恰当在线学习的最优错误界
论文证明随机恰当在线学习函数类的最优期望错误界为 O(L(H) log T)，其中 L(H) 为 Littlestone 维数。该结果改进了 Daskalakis 与 Golowich（STOC 2022）此前给出的 O(L(H) log^6 T) 上界，并在最坏情况下达到常数因子意义下的最优。属…
arXiv cs.LG42 天前
★ 2
循环神经网络中的学习诱导动力学相变
论文建立非平衡动力学平均场理论（DMFT），描述循环神经网络学习过程中从混沌活动到稳定任务行为的转变。研究显示慢速反馈驱动学习产生演化的有效反馈强度，使网络在 DMFT 解的分岔点发生相变，并识别出临界反馈强度与依赖学习率的临界时间。理论预测的训练输出演化与数值模拟定量吻合。
arXiv cs.LG45 天前
★ 2
函数空间视角下的学习动力学统计力学
论文在函数空间中建立学习动力学的统计力学描述，将参数配置视为微观实现，将函数及其动力学算子视为宏观变量。对均方损失，误差动力学由学习算子 M=JJ* 支配；结合动态玻尔兹曼权重与参数空间态密度（其局部曲率定义统计算子 B），积分局部涨落得到涨落势 Φ。结果表明函数空间是研究学习稳定集体组织的自然宏…
arXiv cs.AI53 天前
★ 1
arXiv 论文：二次网络的谱不可区分性与学习曲线可辨识性
论文研究谱摘要与标量学习曲线能揭示中心二次网络的哪些信息。作者构造具有完全相同高斯一维与二维边缘的解析正输入密度，证明其锚定谱测度一致，但因子化损失曲线因映射不保持矩阵乘法而不同。
arXiv cs.LG17 天前