★ 3
研究揭示强化学习对推理模型的关键决策贡献
研究通过对 Qwen3-4B-Base 的生成时干预，量化 RLVR 训练带来的推理增益来源。发现仅在约 4% 的生成位置借用 RL 模型的 token 即可恢复 90.5% 的 pass@1 增益，而强制以「Alright」开头可恢复 35%。结果表明开头 token 贡献有限，更大增益来自后续…
arXiv NLP13 天前
#模型分析
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究称无编码器多模态大模型自学隐式编码器
研究实证分析 Gemma-4 12B 与 Inkling-Small 两个无编码器多模态大模型，它们直接将音频采样、像素或频谱特征输入 Transformer。发现模型早期层实际充当「隐式编码器」，对跨模态上下文基本不变，且独立编码各模态与从第一层联合编码精度相当。
arXiv NLP13 天前
★ 2
基于因果充分性与必要性的区域解释
论文提出因果充分必要区域解释框架 SNRE，学习输入区域 A 与输出区域 B，使 A 的隶属对模型输出落入 B 既充分又必要。受经典必要性充分概率（PNS）启发，作者通过随机干预构建区域级 PNS 度量并推导可微有限样本估计器。SNRE 用可解释代数区域族与可学习特征掩码参数化区域对，实验显示其具…
arXiv cs.LG46 天前
这个主题的相关资产
相关公司阿里巴巴1