★ 2
研究：SAE特征可预测模型错误但缺乏因果性
论文区分稀疏自编码器（SAE）特征与模型错误之间的关联与因果影响，在八个数据集上分析Gemma 3 1B/4B与Gemma Scope SAE。过滤格式与内容伪影后，选定特征干预能带来更大答案边际变化，但答案翻转罕见且方向不稳定。作者认为这些特征反映上下文相关的答案竞争，而非错误机制本身。
arXiv NLP3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文区分稀疏自编码器（SAE）特征与模型错误之间的关联与因果影响，在八个数据集上分析Gemma 3 1B/4B与Gemma Scope SAE。过滤格式与内容伪影后，选定特征干预能带来更大答案边际变化，但答案翻转罕见且方向不稳定。作者认为这些特征反映上下文相关的答案竞争，而非错误机制本身。