各方报道 1 篇
arXiv cs.LG·09-29 12:00★ 2
扩散语言模型FFN压缩的下游因果修复
原文 论文提出同态因果修复（SSR）方法，在压缩模型实际到达的当前输入上恢复原始FFN，直接测量被移除计算对下游去噪轨迹的闭环影响。在LLaDA-8B-Instruct与Dream-v0-Instruct-7B上，仅恢复四个转移即可挽回89.9%的精度损失，同时保留约36.8%的全模型MAC节省。该工作首次直接量化扩散语言模型压缩中FFN计算的同输入闭环效应。
论文提出同态因果修复（SSR）方法，在压缩模型实际到达的当前输入上恢复原始FFN，直接测量被移除计算对下游去噪轨迹的闭环影响。在LLaDA-8B-Instruct与Dream-v0-Instruct-7B上，仅恢复四个转移即可挽回89.9%的精度损失，同时保留约36.8%的全模型MAC节省。该工作首次直接量化扩散语言模型压缩中FFN计算的同输入闭环效应。