★ 3
研究：冻结解码器仅修复编码器可压缩KV缓存
论文指出在共享学习率下比较参数高效微调方案存在混淆偏差。作者在基于SVD的KV缓存压缩场景中发现，冻结解码器、仅修复编码器看似占优，但为每个方案单独调参后优势消失，仅编码器修复达到同等效果，且可训练参数和优化器状态内存均减少3倍。该结论在Qwen2.5-VL-3B-Instruct等模型上验证。
arXiv cs.LG24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出在共享学习率下比较参数高效微调方案存在混淆偏差。作者在基于SVD的KV缓存压缩场景中发现，冻结解码器、仅修复编码器看似占优，但为每个方案单独调参后优势消失，仅编码器修复达到同等效果，且可训练参数和优化器状态内存均减少3倍。该结论在Qwen2.5-VL-3B-Instruct等模型上验证。