#Qwen2.5

共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

arXiv 研究长上下文数据选择：truncLongPPL 提升 Qwen2.5 长文本能力

论文在 Qwen2.5-3B 128K 上下文、6B token 训练预算下对比长文档选择策略，发现随机采样优于重打包，而按 LongPPL 关键 token 密度选文档可进一步提升。作者提出 truncLongPPL，仅用前半段打分即接近全段效果并提速 2.28 倍。在 HELMET、RULER…

arXiv NLP13 天前

★ 3

arXiv 论文：TRACER 防御间接提示注入

论文提出 TRACER，一种通道感知的对抗训练方法，结合答案锚定、证据门控奖励与 ATRC 对齐机制。在 GSM8K 与 Qwen2.5-3B-Instruct 上，将 RAG 框架下的攻击成功率从 65.5% 降至 6.1%，同时保持 78-82% 的干净准确率。

arXiv cs.LG18 天前

★ 2

Muon-RT：复用教师轨迹免动量缓冲，LLM 自蒸馏省 42% 内存

论文提出 Muon-RT，在 LLM 自蒸馏中复用 EMA 教师与学生的位移来替代 Muon 的独立动量缓冲，从而降低持续训练内存。在 Qwen2.5-7B-Instruct 上，相比 AdamW 平均准确率提升 2.6 分且内存减少 42%；相比动量 Muon 提升 5.4 分且内存减少 27%。

arXiv cs.LG10 小时前

★ 2

arXiv 研究：Qwen2.5-1.5B 重学习节省揭示持续学习评估缺陷

论文在 Qwen2.5-1.5B 上对比三种匹配的历史条件，发现曾学过正确事实绑定的模型在部分遗忘后重学更快，且该优势在控制实体熟悉度等因素后仍存在。先前学习可使恢复所需优化器更新减少约 18%，说明当前行为准确率会低估既有经验的持久影响。

arXiv cs.LG14 天前

★ 2

arXiv 论文：CCPO 上下文信用策略优化

论文提出 CCPO 方法，通过上下文相似度加权观测匹配样本，并结合历史信用与未来信用为长程任务中的每一步分配信用。在 Qwen2.5-Instruct 1.5B 与 7B 上，ALFWorld 成功率最高 97.4%，WebShop 达 79.4%，较 GRPO 提升最多 21.6 与 18.5 …