★ 4
Athanor 系统让 Claude 智能体自主后训练 Qwen3-4B
研究者提出 Athanor，一个面向自主后训练研究（AutoPostTrain）的智能体原生开源系统，在真实 GPU 上运行。四个 Claude Opus 5.5 智能体在 104 小时无研究指导下，将 Qwen3-4B-Base 在六任务开发集上从 15.9 提升至 67.3，在留出集上从 9.…
arXiv cs.AI17 天前
#Qwen3
共 36 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
TraceSpec：为 LLM 智能体改进投机解码的轨迹自适应框架
论文指出聚合式投机解码指标掩盖了智能体不同决策点的差异，提出 TraceSpec 框架，将轨迹评估与自适应草稿训练结合，并发布含 1 万训练状态、2500 测试状态的 TraceSpec-Traj 语料。方法按状态条件分配预测预算，在三种目标规模与两种温度下将重放吞吐提升 12.5%–22.6%。…
arXiv NLP9 小时前
★ 3
研究：bf16 舍入丢弃多数 RL 策略更新，提出 Fair Cast 一行修复
arXiv 论文指出，语言模型 RL 后训练中 bf16 舍入会静默丢弃大部分每步权重更新，导致生成数据的策略落后优化器 50-150 步。作者提出 Fair Cast：用无偏舍入（随机舍入或误差反馈）导出主权重，并在服务副本上计算训练损失。在 Qwen3 系列上平均提升 6.1 分，斑马谜题任务…
arXiv cs.LG9 小时前
★ 3
arXiv 论文解析大模型强化学习中训练-推理失配的成因与修正
论文指出大模型在线强化学习中，推理引擎采样与训练器计算梯度之间存在训练-推理失配，来源分为引擎数值误差与异步采样的策略滞后。作者将误差精确拆分为数值偏差与策略滞后，并提出 discrepancy-lag correction（DLC）方法。在 Qwen3-0.6B 与 Qwen3-1.7B 上，D…
arXiv cs.LG9 小时前
★ 3
辅助奖励自改进：用熵指标加权 Qwen3-1.7B 推理轨迹
论文研究辅助轨迹偏好能否提升小模型自改进，比较基于置信度与基于熵的 UID-Conj. 指标。在线实验中在 30 道 AIME 题上适配 Qwen3-1.7B，UID-Conj. 比原始 TTRL 宏平均提升 2.08 个百分点。离线加权 SFT 中比均匀加权高 1.93 分，95% 置信区间为 …
arXiv cs.AI9 小时前
★ 3
开源课程 tiny-llm 教你从零实现 Apple Silicon 上的 LLM 推理
tiny-llm 是一门面向系统工程师的实战课程，基于 MLX 数组与扩展运行时，从矩阵运算、内核到 KV 缓存、批处理与请求调度，完整实现 Qwen3-4B 的推理路径。课程不调用高层神经网络层，要求学员用 Python、C++ 或 Metal 自行实现算子，四周学习路径已在 GitHub 与在…
Hacker News – LLM3 天前
★ 3
CAMR：面向大模型持续学习的兼容性感知记忆回放
论文提出兼容性感知记忆回放框架 CAMR，联合控制当前样本监督与历史回放，通过兼容性检查与学习式记忆门控在三种动作间做在线决策。在 Qwen3-8B-Base 上，WikiBigEdit 任务 3K 事实后原始匹配率达 93.66%，并在 TRACE 四项任务上取得最高最终分数，同时保持或提升早期…
arXiv NLP5 天前
★ 3
Trajectory2Gym：面向工具调用智能体的可学习交互合成
arXiv 论文指出成功的工具调用轨迹未必是有效监督，提出 Trajectory2Gym 框架，围绕组合覆盖与决策落地两项要求构造可执行交互，并仅从有据可依的决策中提取监督信号。在 Qwen3 五个规模上，Tau1、Tau2、BFCL 三基准均值提升 16.9–29.8 个百分点，多轮有状态交互增…
arXiv NLP6 天前
★ 3
arXiv 论文提出 OnQ：量化模型推理能力恢复新方法
针对低比特量化大模型长程推理能力退化问题，论文指出固定响应监督存在轨迹偏移与分布错配两大挑战。作者提出 OnQ 流水线，结合同策略蒸馏与候选级 Dynamic KL。在 Qwen3-1.7B/4B/8B 的 2 比特与 3 比特设置下取得九项基准最高均分，2 比特时 Qwen3-8B 平均提升 1…
arXiv NLP11 天前
★ 3
多智能体复合 AI 系统用于头颈癌质子放疗规划
研究构建证据驱动的多智能体复合 AI 系统，将基于 PPO 的自动放疗规划与 LLM 对话式方案微调结合，用于质子 PBS 治疗。系统含规划、对话与评估三个智能体，规划智能体基于 Qwen3-14B 经 SFT 与 GRPO 后训练。在 21 例头颈癌患者数据上，后训练模型指令遵循与领域推理提升，…
arXiv cs.AI11 天前
★ 3
研究定位 MoE 预填充专家削减损伤：少数提示词 token 决定短答 F1 损失
论文通过 token、层与注意力路径干预，定位 MoE 模型预填充阶段减少路由专家的性能损伤来源。在 Qwen3-30B-A3B 与 DeepSeek-V2-Lite 等四个模型族中，损失主要来自答案前的聊天模板 token 或指令所在的首批提示 token。将约 4% 敏感位置保留全专家可将 F…
arXiv NLP14 天前
★ 3
arXiv 论文：递归自蒸馏致 Qwen3 与 Phi-4 渐进失准
一篇 arXiv 论文发现递归自蒸馏存在安全隐患：安全模型在自身安全输出上反复自蒸馏，即使只附加无害提示，也会在有害查询上逐渐失准，作者称之为「渐进失准」。该现象在 Qwen3 与 Phi-4 两个模型家族、SORRY-Bench 与 StrongREJECT 基准上均复现，模拟用户反馈场景同样出…
arXiv cs.LG14 天前
★ 3
ORL：扩散语言模型的在线策略残差学习框架
论文提出 ORL 框架，指出残差学习本质是在线策略的，通过模型自生成残差轨迹与熵收缩目标提升预测锐度，并协同设计异步残差捕获、块扩散注意力与计算均衡训练。在由 Qwen3-4B 转换的 4B 扩散语言模型上，每前向 token 数最高提升 6.2 倍，端到端吞吐提升约 6.9 倍。在 LLaDA-…
arXiv cs.LG17 天前
★ 3
arXiv 论文：LayerTrim 保留注意力剪枝推理模型
论文提出 LayerTrim，一种无需训练的结构化剪枝方法，通过识别冗余解码层并选择性裁剪其 MLP 特征，同时保留注意力与解码深度。在 Qwen3-14B 上实现 1.24 倍预填充加速与 19.7% 峰值显存下降，并更好保留推理能力。
arXiv cs.LG18 天前
★ 3
研究揭示 Qwen3 无思考模式 RL 增益源于思维泄漏
论文对 Qwen3-1.7B、4B、8B 在 NO-THINK 模式下做 GRPO 训练，发现推理性能提升主要来自「思维泄漏」——即部分重新激活原模型 THINK 模式的推理能力，而非学到新能力。权重、激活与注意力头层面的实验显示，替换 THINK 相关激活子空间可消除大部分 RL 增益。
arXiv NLP19 天前
★ 3
PreSO 提出特权表示隔离的在线自蒸馏方法
论文提出 PreSO（Privileged Representation Isolation for On-Policy Self-Distillation），用于将 RLVR 的稀疏结果信号转化为密集的 token 级监督。方法在源头用紧凑提示限制解特定细节，在目标端从跨问题共享的低秩子空间投影…
arXiv cs.LG19 天前
★ 3
Boole-1.7B 开源：1-bit 量化模型超越 Bonsai-1.7B
开发者发布 Boole-1.7B，这是 Qwen3-1.7B 的 1-bit 量化版本，仅 247MB，体积缩小 13.9 倍，保留 BF16 性能的 85.9%。该模型在性能上超越 1-bit 的 Bonsai-1.7B 和同规模 LFM 模型，接近 1.58-bit 的 Bonsai-1.7B…
Hacker News – LLM20 天前
★ 3
CLEAT：价值引导的智能体澄清协同训练框架
论文提出 CLEAT，一种价值引导的智能体澄清协同训练框架，联合训练澄清价值控制器与任务策略。作者提出残差查询价值衡量提问带来的任务效用，并通过配对 rollout 估计。基于 Qwen3-4B，CLEAT 在四个基准的十个评测设置中均取得最高平均分，UserGym Travel 与 IN3 判断…
arXiv cs.AI21 天前
★ 3
链式 LMO 优化大语言模型：TensorChain 提出
论文提出链式线性最小化预言机（chained LMOs）框架，统一 Muon 衍生的多种矩阵归一化优化器，并指出许多链式方法在光滑凸目标上可能发散。基于线性联想记忆分析链式组合的优势，提出 TensorChain 优化器，在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率优于所…
arXiv cs.LG24 天前
★ 3
论文提出 ARG 方法：平衡推理强化学习中的参考引导与自由生成
论文研究推理模型训练中参考解前缀引导的适度问题，通过前缀续写与验证回退比较轨迹分布。作者推导 KL 散度闭式解，提出自适应参考引导 ARG，从续写结果学习前缀选择器，无需估计成功概率。在 Qwen3-4B 与 Qwen3-8B 五个数学推理基准上，ARG 取得最高聚合 pass@12。
arXiv cs.AI24 天前
★ 3
OnlineQAT：超低位宽 LLM 的在线策略蒸馏
研究者提出 OnlineQAT，一个两阶段框架，先通过分块 QAT 获得可用的低位初始化，再在学生生成的响应上进行在线策略蒸馏。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16 与 W2A16 下取得对比方法中最佳平均分，分别比 ReasoningQAT 提升 2.90 和 0.4…
arXiv NLP25 天前
★ 3
将后训练三值化扩展至Qwen3-8B：能力保持与打包执行
论文将激进的后训练三值化流程从 Qwen3-4B 扩展到 Qwen3-8B，采用 KOTMS 旋转、E2M-ATQ 自适应三值化与 GPTQ 式误差补偿。8B 模型在三语料困惑度比为 1.361 倍，八项零样本任务平均准确率 64.6%（FP16 为 72.4%），机会校正后保留率 78.5%。打…
arXiv cs.LG53 天前
★ 3
Qwen3-4B训练后三值化：能力、有效位预算与部署
研究对Qwen3-4B进行端到端训练后转换，使用KOTMS旋转、E2M-ATQ三值化和GPTQ式误差补偿。最终每权重有效位1.641，准确率从64.5%降至54.7%，困惑度上升。打包运行将模型大小从8.29 GiB减至3.96 GiB，但未端到端基准测试，初步微基准显示比FP16慢4.6倍。
arXiv cs.AI60 天前
★ 2
开发者开源 Tadpole：纯 Python 从零构建 LLM 智能体并后训练 Qwen3-4B
开发者 shakewingo 在 GitHub 开源 Tadpole，用约 3500 行纯 Python 从零实现一个工具调用型 LLM 智能体，不依赖任何智能体框架，可通过 Telegram 全天候运行。项目还记录了在 Qwen3-4B 上分阶段后训练（SFT、LoRA 适配器）的完整过程与评测…
Hacker News – LLM2 天前
★ 2
MIOE 基准评估 LLM 本体工程机制可解释性
论文提出 MIOE 因果抽象基准，评估 LLM 在本体工程任务（实体类型判定、包含关系预测）中的内部机制。在 Qwen3-8B 与 Qwen3-4B 上比较 SAE、DBM、DAS 等方法，发现分布式子空间方法效果最强但难以与类别辅助信息完全解耦。结果表明本体预测在机制上可及，但尚无干净的因果机制。
arXiv cs.AI3 天前
★ 2
Harness Corp：基于 WebGPU 本地 Qwen3-0.6B 的浏览器放置游戏
开发者推出浏览器增量游戏 Harness Corp，玩家通过完成任务攒钱租 GPU，驱动本地运行的 Qwen3-0.6B 模型（约 358MB）。游戏内可购买 JSON 结构化输出、日期工具等“模型外挂”升级，实际改变模型行为，并支持自定义提示词。Chrome 使用 MLC WebLLM，Fire…
Hacker News – LLM5 天前
★ 2
DiscernMem：多智能体记忆精炼与使用时机框架
研究者提出 DiscernMem，一个免训练框架，用于提升 LLM 多智能体系统的记忆质量与使用判断。其中缺陷感知记忆精炼（DMR）诊断并修复记忆规则缺陷，边界学习元记忆（BLM）学习何时该用或避开某条记忆。在 Qwen3-4B-Instruct-2507 上于 AutoGen、CAMEL、Mac…
arXiv cs.AI5 天前
★ 2
arXiv 论文修复 Llama-3/Qwen3 分词器尼泊尔语切分缺陷
研究发现 Llama-3、Qwen3 等开源模型预分词正则仅接受 Unicode 字母，导致天城文元音符号处被切断，尼泊尔语 token 消耗为英文的 2.6 至 5.8 倍。作者对正则做小幅修改并新增 3.2 万次合并，使尼泊尔语 token 降至英文的 1.01 倍，并开源分词器与代码。
arXiv NLP6 天前
★ 2
研究追踪语言模型方向敏感扰动下的失败机制
论文提出方向敏感、读出相对的语义脆弱性解释，用纵向-横向分解识别标量传递中丢失的方向信息。紧凑的储备-传递模型可在 Qwen3-32B 与 Gemma 4 31B 上预测失败，匹配干预显示方向本身携带因果信息。结果表明共享预测规律与上下文相关的方向效应并存。
arXiv NLP7 天前
★ 2
FusionEval 基准发布：评测大模型模型融合能力
研究者提出 FusionEval 基准，用于系统评测大语言模型的模型融合方法。该基准基于 Qwen3 与 Llama 训练数学、代码、科学、指令遵循与工具调用等专家池，在八个公开基准上衡量能力保留与计算成本。实验发现免训练融合方法保留推理能力但显著削弱工具调用，MOPD 更均衡但成本更高。
arXiv NLP10 天前