★ 2
扩散语言模型FFN压缩的下游因果修复
论文提出同态因果修复（SSR）方法，在压缩模型实际到达的当前输入上恢复原始FFN，直接测量被移除计算对下游去噪轨迹的闭环影响。在LLaDA-8B-Instruct与Dream-v0-Instruct-7B上，仅恢复四个转移即可挽回89.9%的精度损失，同时保留约36.8%的全模型MAC节省。该工作…
arXiv cs.LG34 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出同态因果修复（SSR）方法，在压缩模型实际到达的当前输入上恢复原始FFN，直接测量被移除计算对下游去噪轨迹的闭环影响。在LLaDA-8B-Instruct与Dream-v0-Instruct-7B上，仅恢复四个转移即可挽回89.9%的精度损失，同时保留约36.8%的全模型MAC节省。该工作…