★ 3
无需推理轨迹训练专家模型实现领域专家蒸馏
论文研究当专家模型仅用问答对训练、缺乏显式推理监督时，其生成的推理轨迹由什么决定。作者将学生蒸馏作为无关探针，发现专家优化隐式地从潜在轨迹空间中选择，27组专家-学生对的特化-泛化曲线高度相关。显式控制专家的分布漂移可系统性地在领域精度与通用能力保留间移动权衡，在化学、物理与多语言场景中均成立。
arXiv cs.LG48 天前
#分布漂移
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
DyProd-FM 实现分布漂移下极小极大最优预测流匹配
论文研究分布漂移下流匹配的预测问题，提出 DyProd-FM，在二元历史前缀上重拟合流匹配并用 sleeping Prod 主算法选择。在未知漂移预算下取得速度风险变化与目标分布变化两方面的动态遗憾上界，匹配下界表明其在 T 与预算上均达最优。
arXiv cs.LG11 天前
★ 2
自监控测试时自适应的可交换性失效
论文研究多步时间序列预测中，当监控与自适应使用同一预测误差反馈时，统计保证是否仍然成立。结果显示重叠目标与误差依赖会破坏关键假设，导致误报警并进一步损害预测质量。自适应还会向自身监控器隐藏持续性变化，而冻结模型保留更清晰信号。
arXiv cs.LG26 天前
★ 2
模型无关在线证书校准应对时序分布漂移
该论文针对时间序列在协变量漂移、概念漂移和时间依赖下的分布外泛化问题，提出一种模型无关的在线鞅 PAC-贝叶斯框架，能在时间依赖与分布漂移下给出有限样本证书。方法将证书作为在线校准的替代正则项，在固定预测骨干上训练门控残差贝叶斯头，采用先预测后更新的协议。在卷积、注意力及大语言模型预测器上的实验显…
arXiv cs.LG34 天前