★ 3
miniTE 框架开源:解决 NVFP4 强化学习跨引擎执行偏差
论文指出训练与采样引擎数值格式不一致会导致策略评估失真,提出 miniTE,结合执行诊断、跨引擎数值对齐与原生 W4A4 GEMM。在 Qwen3-30B-A3B 长程 RL 上训练稳定、接近 BF16 表现,单台英伟达 B300 节点吞吐达 33540 tokens/s,为 BF16 的 1.3…
arXiv cs.LG13 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出训练与采样引擎数值格式不一致会导致策略评估失真,提出 miniTE,结合执行诊断、跨引擎数值对齐与原生 W4A4 GEMM。在 Qwen3-30B-A3B 长程 RL 上训练稳定、接近 BF16 表现,单台英伟达 B300 节点吞吐达 33540 tokens/s,为 BF16 的 1.3…
论文刻画了低精度采样器与学习器执行差异与策略梯度方向的交互,提出方向感知稳定化方法 TRIAGE。在 Qwen3-4B 与 Qwen3-30B-A3B 上实现稳定优化并达到全精度水平,rollout 吞吐量最高提升 2.3 倍。
论文指出,世界动作模型复用预训练视频 VAE 时,量化不仅要保重建质量,还要保住冻结策略所依赖的潜空间表示。直接 NVFP4 量化会导致 LIBERO 成功率从 95.5% 崩到 10.5%,原因是激活量化改变了重建信号与解码器雅可比,引发潜空间漂移。作者提出两阶段 QAT 框架 LatentQu…