★ 2
RAMP：循环深度语言模型高效预填充的自适应混合精度方法
该论文提出 RAMP（循环自适应混合精度）方法，针对循环深度语言模型在长上下文预填充阶段因重复计算导致的推理开销问题。研究发现量化误差在循环深度中会随后续步骤衰减，因此将低精度计算放在早期循环阶段、高精度保留在末端精炼阶段，可在 4K 上下文下保持接近全精度的预填充质量，并在 NVIDIA H10…
arXiv NLP21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文提出 RAMP（循环自适应混合精度）方法，针对循环深度语言模型在长上下文预填充阶段因重复计算导致的推理开销问题。研究发现量化误差在循环深度中会随后续步骤衰减，因此将低精度计算放在早期循环阶段、高精度保留在末端精炼阶段，可在 4K 上下文下保持接近全精度的预填充质量，并在 NVIDIA H10…