★ 3
研究：SAE 训练激活缓存压缩需按站点校准，int4 可能不如重设随机种子
论文通过冻结 SAE 测试与重训练测试，考察激活缓存压缩对稀疏自编码器特征保留的影响。结果显示保留特征比例缺乏统一尺度：GPT-2 缓存转 fp16 保留 60.6% 特征，而仅改变百万分之一数值却保留 70.5%，重设随机种子保留 23.0%。作者提出以相同字节重训练为上限、重设种子为下限的校准…
arXiv cs.LG9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文通过冻结 SAE 测试与重训练测试，考察激活缓存压缩对稀疏自编码器特征保留的影响。结果显示保留特征比例缺乏统一尺度：GPT-2 缓存转 fp16 保留 60.6% 特征，而仅改变百万分之一数值却保留 70.5%，重设随机种子保留 23.0%。作者提出以相同字节重训练为上限、重设种子为下限的校准…