★ 3
ReHarness：面向智能体持续学习的循环框架
论文提出 ReHarness，一种用于智能体持续学习的循环框架，在严格在线流式协议下以反向修订补充前向读写。它在每个实例后利用轨迹作为反馈修订检索到的反思，将反馈沿文本状态反向传播。在三个持续学习基准、三个语言模型骨干上持续优于强基线。
arXiv cs.LG21 天前
#在线学习
共 22 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Light Heads 框架加速推荐系统多任务实验
论文提出轻量排序头（Light Heads）框架，面向持续在线学习环境，可向现有多任务排序模型动态注入新任务，免去骨干模型冷启动与重训。借助stop-gradient与无状态每日训练严格隔离新任务，避免任务冲突，并通过集中配置同时挂载到多个模型。该方案已在YouTube规模部署，将多任务实验迭代周…
arXiv cs.LG40 天前
★ 3
AReaL 2.0构建Agent在线强化学习闭环
QCon上海分享介绍AReaL 2.0，旨在让Agent越用越强，通过构建在线强化学习闭环持续优化智能体表现。内容聚焦Agent训练与在线RL的工程化落地路径。
InfoQ AI44 天前
★ 3
梯度下降、镜像下降与 FTRL 的精确形式遗憾界
论文从几何角度刻画在线梯度下降、镜像下降与跟随正则化领导者（FTRL）在何种偏差下实现无遗憾。作者提出“精确性”作为统一原则：相关位移场由标量势生成，或等价地对应的一形式在算法所用几何中精确。精确性在温和正则条件下带来次线性遗憾，非零环流则导致线性遗憾。研究还引入保守相关均衡并刻画其与相关均衡的关…
arXiv cs.LG53 天前
★ 2
arXiv 论文提出 DUET 算法：组合半赌博机基线保护与对抗鲁棒性兼得
该论文针对组合半赌博机问题提出 DUET（Doubling Under Empirical Tests）分阶段混合方案，通过两个可观测测试决定何时加倍学习权重与经验遗憾预算。算法在未知时间跨度、间隙和环境类型的情况下，同时实现基线遗憾对数级、对抗损失下 O(√T) 遗憾以及随机损失下的多对数遗憾。
arXiv cs.LG5 天前
★ 2
MOPC：记忆增强在线测试时自适应提升脑电运动想象解码
arXiv 论文提出 MOPC 框架，一种无需源数据的在线测试时自适应方法，用于脑电运动想象解码。它通过随机掩码扰动一致性、置信度校准重加权损失和轻量记忆模块，在推理阶段实时更新参数，缓解跨被试分布漂移与灾难性遗忘。在 BCI IV IIb 与 OpenBMI 数据集上分别超过此前方法 2.22%…
arXiv cs.LG10 天前
★ 2
DyProd-FM 实现分布漂移下极小极大最优预测流匹配
论文研究分布漂移下流匹配的预测问题，提出 DyProd-FM，在二元历史前缀上重拟合流匹配并用 sleeping Prod 主算法选择。在未知漂移预算下取得速度风险变化与目标分布变化两方面的动态遗憾上界，匹配下界表明其在 T 与预算上均达最优。
arXiv cs.LG11 天前
★ 2
研究提出带在线偏好学习的个性化 LLM 路由方法
论文将个性化 LLM 路由建模为带约束的上下文多臂老虎机问题，在用户偏好未知、需从部署反馈中学习的情况下，兼顾推理成本与响应质量。在逻辑偏好模型与严格可行条件下，给出次线性成本遗憾与累计满意度的高概率保证。
arXiv cs.LG14 天前
★ 2
研究提出 EDIT 算法决定人机交互中哪些回复需编辑
论文将「决定哪些 AI 回复送交更昂贵编辑者修正」形式化为 Edit Discovery Optimization 问题，并提出在线算法 EDIT。在四个推理与事实问答基准上，EDIT 在编辑成本、漏检与误判之间取得优于直接 LLM 批量选择的权衡。
arXiv cs.LG14 天前
★ 2
COCO 问题实现多对数约束违反与近优遗憾
论文研究带对抗性凸损失与约束的在线凸优化（COCO），提出结合连续 Hedge 与收缩可行集消除的在线策略。该策略在保持 O(√(T log T)) 遗憾的同时，将累积约束违反从多项式级降至 O(log²T)，核心工具是 Grünbaum 不等式与自适应学习率势函数。
arXiv cs.LG27 天前
★ 2
残差量化提升上下文老虎机效率
论文提出以残差量化（RQ）作为表示层，将连续上下文映射为多层级离散质心分配，从而在严格有界内存下实现非线性奖励建模。在 13 个数据集上，RQ 变体在 11 个数据集上优于非 RQ 版本，且以最多少 1000 倍的内存匹配需反复重训的 XGBoost 与神经基线。该工作为在线决策场景提供了内存高效…
arXiv cs.LG28 天前
★ 2
延迟修订结果下的下行受控在线预测组合
论文提出一种下行受控的在线预测组合方法，将冻结的基础模型、静态校正器与在线校正器在单纯形上组合，仅使用延迟成熟的损失。在七个基准与四个基础模型上，最差退化仅0.15%，最大增益达11.5%；在欧洲七个竞价区日前负荷预测中全部降低MSE，而单一校正器在最准确处反而使MSE上升最多102%。
arXiv cs.LG38 天前
★ 2
随机恰当在线学习的最优错误界
论文证明随机恰当在线学习函数类的最优期望错误界为 O(L(H) log T)，其中 L(H) 为 Littlestone 维数。该结果改进了 Daskalakis 与 Golowich（STOC 2022）此前给出的 O(L(H) log^6 T) 上界，并在最坏情况下达到常数因子意义下的最优。属…
arXiv cs.LG42 天前
★ 2
对抗多臂老虎机切换遗憾最优解
论文研究对抗性多臂老虎机中比较臂序列最多切换 S 次的切换遗憾问题。当 S 未知时，此前在自适应对手下被证明无法达到最优界。本文提出单一算法在 oblivious 对手下对任意 S 均达到最优期望遗憾，解决了 Auer 等人 2019 年的公开问题。
arXiv cs.LG48 天前
★ 2
LoRA-RC：低秩适配的储备池计算
论文提出LoRA-RC，通过流式预测误差驱动的低秩修正来适配储备池循环矩阵，核心矩阵在线更新并投影到谱范数球内、逐步低通滤波，保证循环矩阵始终处于认证收缩集内并建立增量输入-状态稳定性界。在Lorenz系统突变漂移场景下，LoRA-RC将漂移后预测误差较固定RC降低56%、较仅读出适配降低51%。
arXiv cs.AI49 天前
★ 2
Meta-LinEXP3：对抗线性上下文赌博机元学习
论文针对随机动作集下的对抗线性上下文赌博机（ALCB）元学习空白，提出 Meta-LinEXP3 在线嵌套在线算法，从已完成任务构建可预测的任务级先验指导内层 LinEXP3。已知上下文分布时给出内在维度 O(√n) 的每任务遗憾界，未知分布时提出仅用过去的正则矩估计器。研究还建立先验精度与迁移遗…
arXiv cs.LG53 天前
★ 2
SCCM：流式巡航控制实现自动漂移检测与自适应
论文提出流式巡航控制方法（SCCM），用于在线回归中的概念漂移检测与自适应。SCCM 采用早期响应、更新前漂移检测、漂移幅度量化、基于 KPI 窗口的动态阈值和超参数调优，并采用内存内设计实现实时适应。在 18 个合成数据集和 8 个真实数据集上，与 8 个检测-自适应基线相比，预测性能与漂移处理…
arXiv cs.LG53 天前
★ 2
预算感知在线教学优化Web代理
提出预算感知的在线教学框架，通过可解性感知教师门控和分数引导的回合选择，决定何时查询教师模型和保留哪些信息回合。在MiniWoB和TimeWarp上减少教师调用和学生训练计算，同时保持性能。
arXiv cs.AI54 天前
★ 1
论文给出在线线性优化在 ℓp 球上的极小极大小损失界
研究单位 ℓp 球上全信息在线线性优化的遗憾界，提出 FTRL 算法在不知 T 与 Δ_T 的情况下达到 O_p(1+min{Δ_T^{1-1/p}, d^{1/2-1/p}√Δ_T}) 的界。匹配下界证明该速率对每个固定 p 都是极小极大的，且常数 (2+o(1))p/log p 在 p→∞ 时…
arXiv cs.LG5 天前
★ 1
从切换遗憾到动态遗憾的简单归约
论文提出一个简单框架，将非平稳在线学习中的动态遗憾最小化归约为切换遗憾最小化。核心思路是为任意比较器序列构造每轮无偏、方差可控且切换次数有限的辅助随机序列，从而借助现成算法推导动态遗憾界。对强凸与指数凹损失得到 Õ(T^{1/3}P_T^{2/3}) 界，对一般凸损失恢复 O(√(T(1+P_T)…
arXiv cs.LG42 天前
★ 1
扭曲高斯过程变换的在线梯度计算
扭曲高斯过程通过参数化变换将非高斯观测映射到潜在标准高斯过程，但现有流式方法要么周期性优化扭曲参数，要么牺牲解析可处理性。论文证明扭曲高斯过程瞬时负对数似然的梯度存在精确递归计算，并据此提出一种在线方法，可同时更新潜在高斯过程矩并优化扭曲参数。
arXiv cs.LG47 天前
★ 1
Hadamard流形分布式在线优化的曲率无关遗憾界
论文研究Hadamard流形上的去中心化在线黎曼优化，针对horospherical凸函数放宽了此前对截面曲率下界的依赖。提出分布式黎曼在线梯度下降（D-ROGD），结合局部h-次梯度更新与隐式Fréchet均值共识，分别取得O(√T)与O(log T)的静态遗憾界，网络依赖仅由谱隙决定。这是首个…
arXiv cs.LG48 天前