★ 3
论文提出分层智能体蒸馏框架，厘清 on-policy 与 off-policy 取舍
研究指出交互式 LLM 智能体蒸馏中，诱导交互历史的策略与生成当前动作 token 前缀的策略并不相同，据此提出分层蒸馏框架以显式控制两层 on-policy 程度的配对、混合比例与训练日程。跨三个模型、四个交互环境的实验发现学生诱导历史搭配教师动作前缀效果最佳，而完全跟随学生在两层均最差，前置教…
arXiv cs.AI7 天前
#训练策略
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Reactive Optimizers：训练过程中动态重写优化器源码
Hacker News 上讨论的 Reactive Optimizers 方案提出在训练过程中动态重写优化器源代码，使优化逻辑可随训练阶段自适应调整。该思路为优化器设计与训练策略提供了新的可编程方向。
InfoQ AI7 天前
★ 2
Inception裁剪实现差异或影响视觉模型训练
论文发现TensorFlow/JAX生态中的Inception裁剪按 f(A)∝1/√A 采样裁剪尺度，与PyTorch遵循原始描述的实现不同。作者在ImageNet-1k上训练522个ViT-S/16模型，发现训练预算越高越需要强增强，且裁剪尺度分布的下尾决定增强强度。研究还重新评估了Beta裁…
arXiv cs.LG27 天前