★ 3
TopicScope：用稀疏自编码器做生成期话题监控
论文提出 TopicScope 框架，在稀疏自编码器（SAE）特征上训练因果话题分类器，为生成响应中的每个 token 打话题标签，标签可在回答中途变化。在 Gemma-3 1B 与 4B 上，用 prefill 隐状态特征训练的监控器可泛化到解码阶段，插入离题内容等扰动下最多损失 5 个 mac…
arXiv cs.AI2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 TopicScope 框架，在稀疏自编码器（SAE）特征上训练因果话题分类器，为生成响应中的每个 token 打话题标签，标签可在回答中途变化。在 Gemma-3 1B 与 4B 上，用 prefill 隐状态特征训练的监控器可泛化到解码阶段，插入离题内容等扰动下最多损失 5 个 mac…