★ 2
arXiv 论文：稀疏自编码器数据规模收益递减
该研究训练四种稀疏自编码器（SAE）架构，在三个语言模型上测试 5M 到 500M token 的训练预算，发现功能收敛与特征可复现性对数据量的需求差异巨大。Gemma-2-2B BatchTopK 的严格匹配特征比例从 5M token 时的 2% 升至 50M 时的 29%。结果表明按目标匹配…
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该研究训练四种稀疏自编码器（SAE）架构，在三个语言模型上测试 5M 到 500M token 的训练预算，发现功能收敛与特征可复现性对数据量的需求差异巨大。Gemma-2-2B BatchTopK 的严格匹配特征比例从 5M token 时的 2% 升至 50M 时的 29%。结果表明按目标匹配…