★ 3
论文提出代数整数量化 AIQ，用于 LLM 推理压缩
arXiv 论文提出代数整数数格式（AINF）与代数整数量化（AIQ），可将 LLM 推理压缩为纯整数运算，实现无误差乘加。实验显示在同等比特预算下，AIQ 精度可与业界 MX 格式竞争。
arXiv cs.LG21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文提出代数整数数格式（AINF）与代数整数量化（AIQ），可将 LLM 推理压缩为纯整数运算，实现无误差乘加。实验显示在同等比特预算下，AIQ 精度可与业界 MX 格式竞争。