★ 3
积分概率边界 IPB：在极端情形下更紧的分布差异界
论文提出积分概率度量（IPM）的非线性推广——积分概率边界（IPB），在稀有事件、安全失效与少数群体等极端情形下给出更紧的界。作者推导其基本性质与估计算法，并在对齐、无评判性能估计与公平性任务中验证，在真实生成建模任务上对少数群体公平性差距估计精度提升约 15 个百分点。
arXiv cs.LG3 天前
#理论分析
共 21 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文证明完美重建无法验证 VAE 码本一致性
论文证明标准训练报告无法揭示 VAE 潜在空间写入与读取码是否一致，并构造两个完美重建、ELBO 与码直方图完全相同的 VAE，其一致性分别为 1 和 0。研究进一步给出 ELBO 项对一致性偏移的界限，并提出 Certify-or-Measure 协议。
arXiv cs.LG19 天前
★ 3
论文分析语言模型能否继承 Solomonoff 归纳
论文运用算法信息论、通用预测与贝叶斯一致性结果，分析语言模型能否逼近 Solomonoff 归纳。结论指出任何可计算模型都无法在统一意义上实现该目标，只能逐环境成立；并讨论上下文学习作为摊销贝叶斯推断等可继承性质。
arXiv cs.LG19 天前
★ 3
外部引导何时助力 LLM 推理：GA-GRPO 偏差方差理论
论文提出统一理论框架 GA-GRPO，将外部引导建模为改写问题分布的随机引导算子，并给出收敛率、偏差界与最优引导权重闭式解。实验表明最优权重 GA-GRPO 在九个数学与 OOD 基准上匹配或超越 TAPO、LUFFY、ExPO 与原始 GRPO，且 GPU 小时数减少 31%。
arXiv cs.LG26 天前
★ 3
MCR² 在分布外泛化上的理论局限
论文指出最大编码率降低（MCR²）目标在分布偏移下可能完全失效：仅依赖不稳定环境特征的表示可达到全局编码最优，却在相关性反转后预测彻底失败。即使引入不变风险最小化（IRM）与风险外推（REx）的不变性原则也无法消除该问题，说明共享编码最优性并不保证稳定预测。
arXiv cs.LG42 天前
★ 2
生成流中边缘保持速度场的有限步几何研究
论文研究生成流中诱导相同连续边缘演化、但离散化后行为不同的速度场，用投影修正方程刻画改变边缘分布的积分误差分量，并给出更高边缘收敛阶的充分条件。针对仿射固定形状分布推导精确有限步可达性与谱障碍，并在扩散概率流 ODE 上构造保持边缘路径的斜分数扰动。
arXiv cs.LG3 天前
★ 2
arXiv 论文提出动态核注意力 DKA，可对弱证据弃权
论文提出 Dynamical Kernel Attention（DKA），从随机动力学下潜状态估计的角度推导注意力权重，使旧 token 信息随衰减自然失效，并可在证据不足时弃权。DKA 保持标准注意力的并行结构与计算开销，但本版仅给出模型与理论，实证评估留待后续版本。
arXiv cs.LG13 天前
★ 2
Transformer 条件无毛定理：提示影响随生成衰减
论文研究自回归 Transformer 在生成 t 个 token 后对提示的保留程度，发现两个不同提示的隐藏状态距离近似按幂律 t^-α 衰减，训练模型 α≈0.55–0.7 遗忘更快，未训练模型 α≈0.2–0.5。作者对有限深度 pre-LN softmax Transformer 证明该偏…
arXiv cs.AI13 天前
★ 2
论文分析随机特征 MPNN 跨图规模表达能力
论文建立群体级规模一致逼近框架，研究带连续随机节点特征的消息传递神经网络（MPNN）。作者证明在初始特征 Lipschitz 界与图规模无关时，连续随机特征可量化为有限颜色且误差任意小，据此证明这类 MPNN 并非规模一致通用，并分析颜色与独立试验带来的表达力增益，以及其与高阶 Weisfeile…
arXiv cs.LG21 天前
★ 2
论文将 Transformer 解释为 LBP 与 EM 混合推断
论文把 Transformer 网络解释为结合 max-product 环状置信传播（LBP）与期望最大化（EM）的混合概率推断过程的近似：自注意力实现输入条件下动态结构马尔可夫随机场上的可微 LBP，层间参数转移则对应隐式 M 步。基于此提出「元模型」设计范式，统一自注意力、混合专家与门控单元。
arXiv cs.LG21 天前
★ 2
Barron 最优传输：生成建模新度量框架
论文提出以 Barron 能量替代传统动能的最优传输框架，用于衡量神经网络表示向量场的复杂度，定义概率测度空间上的新度量。研究给出扩散生成模型在 Barron 几何下的次优性下界，并探讨自适应特征学习对替代生成模型的收益。
arXiv cs.LG24 天前
★ 2
研究：扩散模型扰动传播的等路径成本分析
论文建立理论框架研究扩散模型采样过程中的扰动传播，用 KL 散度定义「路径成本」并推导响应恒等式，解释为何输出分布变化可能不被一阶响应检测到。在预训练扩散模型上的等路径成本干预实验揭示了不同采样阶段与空间频率的输出敏感模式，并可用于诊断缓存加速带来的图像误差。
arXiv cs.AI24 天前
★ 2
论文分析序列模型长记忆的状态与稳定性复杂度代价
论文研究长程时间依赖对序列模型的资源需求，证明代数衰减预测记忆下指数与有限状态模式的匹配上下界，达到误差 τ 需 r=Θ(log²(1/τ)) 个状态。研究还表明真实分数长记忆会改变几何结构，并给出非线性递归的混沌包络与临界性必要条件。实验在状态空间、门控循环与注意力模型上验证了预测。
arXiv cs.LG25 天前
★ 2
在策略与离策略蒸馏的目标差异解析
论文系统研究多教师序列蒸馏，指出前向 KL 产生加权算术混合、反向 KL 产生归一化加权几何聚合，并给出表格与函数逼近下的对数遗憾界。分析揭示了在策略蒸馏（OPD）相对 SFT 减少遗忘的优势及其脆弱性来源。反向 KL 更能保留自信专家的偏好，但对低概率正确响应的教师更敏感。
arXiv cs.LG32 天前
★ 2
平坦度代理并非函数：鲁棒性证书与训练干预
论文指出有效的曲率上界并不足以支撑鲁棒性证书或对内在预测器属性的训练干预。作者以最后一层相对平坦度代理为例，证明经验风险平稳性无法消除逐点一阶损失项，保留的证书表达式会低估损失增幅逾 210 倍，并给出全局有效、规范不变的特征空间修复。研究还表明常见行 softmax 平移会使代理无界，行中心化可…
arXiv cs.LG32 天前
★ 2
LoRA秩并非容量控制而是可达性约束
论文挑战了LoRA中秩r作为容量控制的普遍认知。在硬性逐因子范数预算下，LoRA可达的更新恰是核范数球内秩不超过r的矩阵，而所有复杂度泛函都由秩一更新取到最大值，秩上限从不生效。研究重新将秩定位为决定哪些更新可达、以及抵消主奇异方向的代价，而非模型容量。
arXiv cs.AI34 天前
★ 1
带偏置浅层 ReLU 网络的总体损失与临界点族
论文给出学生-教师核模型下带偏置浅层 ReLU 网络的总体损失解析公式，扩展了 Choo & Saul 与 Brutzkus & Globerson 的早期工作，核心工具为 Owen's T 函数。研究证明以往文献中的多类伪极小值族在带偏置网络中依然存在，且加入偏置总能严格降低损失，但损失景观几何…
arXiv cs.LG35 天前
★ 1
指示切换成本下的在线凸优化动态遗憾
该论文研究带指示切换成本的在线凸优化动态遗憾问题，此类成本刻画服务器激活、模型部署等启动开销。作者证明直接扩展现有技术会失败，并提出基于元学习的框架，用随机惰性 FTRL 基学习器与运动感知主算法聚合。所得界在无需预知切换次数与路径长度的情况下达到极小极大最优。
arXiv cs.LG35 天前
★ 1
Transformer 注意力头与序列有序性判定
论文证明判断一串比特是否有序的问题无法由单头单层 Transformer 完成，但可由双头单层 Transformer 完成。与以往类似结果不同，该结论假设 Transformer 带有输出 MLP。这一结果细化了 Transformer 表达能力的理论边界。
arXiv cs.AI40 天前
★ 1
从切换遗憾到动态遗憾的简单归约
论文提出一个简单框架，将非平稳在线学习中的动态遗憾最小化归约为切换遗憾最小化。核心思路是为任意比较器序列构造每轮无偏、方差可控且切换次数有限的辅助随机序列，从而借助现成算法推导动态遗憾界。对强凸与指数凹损失得到 Õ(T^{1/3}P_T^{2/3}) 界，对一般凸损失恢复 O(√(T(1+P_T)…
arXiv cs.LG42 天前
★ 1
正则化强调式时序差分学习的稳定性
论文构造两状态反例，说明ETD均值映射收缩但采样乘积具有正Lyapunov指数，并提出正则化强调式TD（RETD），通过泄漏标量状态存储强调信号并释放延迟修正。作者证明调和递减步长下的几乎必然收敛与常数步长的条件矩收缩，实验验证了稳定性分离与不动点恢复。
arXiv cs.AI45 天前