★ 3
面向高效LLM压缩的逐层课程学习
论文提出逐层课程学习用于高效 LLM 压缩，将模型按层切分为多个片段，从易到难进行知识蒸馏，并基于累积误差理论分析加速收敛。作者还提出多线程特征缓存方法解决跨层特征错位问题。实验显示在 BERT 与 GPT-2 上 GPU 显存与训练时间减少超 50%，在 LLaMA 与 Qwen 系列上优于同类…
arXiv cs.LG45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出逐层课程学习用于高效 LLM 压缩，将模型按层切分为多个片段，从易到难进行知识蒸馏，并基于累积误差理论分析加速收敛。作者还提出多线程特征缓存方法解决跨层特征错位问题。实验显示在 BERT 与 GPT-2 上 GPU 显存与训练时间减少超 50%，在 LLaMA 与 Qwen 系列上优于同类…