★ 3
AutoEMatic：运行时自适应混合精度 LLM 推理方案
针对现有训练后量化在推理前固定精度、无法适应不同提示与层需求的问题，研究者提出 AutoEMatic，在运行时动态调整权重、激活与 KV 缓存精度，依据下一 token 分布熵与隐状态更新幅度选择每层精度。配套的 AutoFP 格式从单一 NVFP4 基础格式派生 2/4/6 比特精度，并已在 G…
arXiv cs.AI5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对现有训练后量化在推理前固定精度、无法适应不同提示与层需求的问题，研究者提出 AutoEMatic，在运行时动态调整权重、激活与 KV 缓存精度，依据下一 token 分布熵与隐状态更新幅度选择每层精度。配套的 AutoFP 格式从单一 NVFP4 基础格式派生 2/4/6 比特精度，并已在 G…