★ 3
ELR 提出无税循环语言模型，产出 Koi-4B
arXiv 论文提出 Elastic Latent Recurrence（ELR）训练方法，让循环（latent recurrent）语言模型在单次循环时不再落后于同规模非循环模型，从而消除「单循环税」。通过门控状态更新、混合循环深度与循环索引条件化三项设计，模型可随推理算力增加循环次数换取精度。…
arXiv NLP21 天前
#循环语言模型
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LoopOPD：循环语言模型跨循环在线策略蒸馏
论文提出LoopOPD框架，利用循环语言模型内部额外的循环计算作为自身监督来源，以冻结的终端循环策略作为计算特权教师指导中间循环学生，无需外部教师或特权信息。进一步提出动态LoopOPD持续刷新教师实现循环自改进。在Ouro-Thinking模型上实验显示数学推理提升，并泛化到通用推理与代码生成。
arXiv cs.LG24 天前
★ 3
循环语言模型实现动态计算：FLOPs 与 KV 内存降 30%
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
arXiv cs.AI25 天前
★ 3
首个循环语言模型思维链可监控性系统评估
研究首次系统评估循环语言模型（LoopLM）的思维链可监控性。通过变化同一LoopLM家族的循环深度，以及与非循环模型在参数规模、层数或有效深度上匹配比较，发现压力测试下特定逻辑/科学/工程任务的可监控性存在任务依赖性下降。诊断表明这些下降不能完全由任务难度、验证通过率或生成长度解释，但没有证据表…
arXiv cs.AI28 天前
★ 2
研究：循环语言模型训练中反向传播窗口与预算取舍
论文研究重复 Transformer 层（循环语言模型）训练时反向传播窗口长度的选择问题，比较长窗口（每 token 学习效率高但单次更新成本高）与短窗口在不同训练预算下的相对表现。结果显示预算增大时短窗口优势大幅衰减，最优窗口会随预算变化而改变，说明窗口比较必须结合可用算力预算。
arXiv NLP3 天前
★ 2
研究质疑循环语言模型停止头实际节省算力
论文训练至 13 亿参数的循环语言模型，发现停止头（halting head）在标准停止规则下几乎无法让 token 提前退出，因为训练从未对 token 停止的那一次迭代打分。此外，批处理生成以最慢 token 为准，使平均迭代数高估节省效果。作者建议报告实际运行迭代数并给出训练前的收益上界测试。
arXiv NLP7 天前
★ 2
研究：循环语言模型深度复用靠训练与推理循环一致而非归一化
一篇 arXiv 论文研究循环语言模型（如 Ouro 系列）为何能在超出训练预算的循环步数下保持可用。作者发现移除循环边界归一化后，Ouro-1.4B 与 Ouro-2.6B 在平衡二分类任务上准确率归零，但原因并非状态范数增长；从头训练的 19M 参数模型则显示不归一化反而更好。结论是训练循环与…
arXiv cs.LG7 天前