FlagRot：选择性旋转优化 2 比特 KV 缓存量化
原文标题：FlagRot: Selective Rotation for Low-Bit KV Caches
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文观察到旋转并非总有利于键量化，提出 FlagRot 对每 32 通道片段按校准注意力误差决定是否旋转，读取时改为旋转查询。在 2.5 比特下把 KIVI 的十二模型 KL 散度从 18.7 降至 12.4×10⁻³，作为 vLLM 插件使 128k 上下文 RULER 提升 2.9 分。
深读 · 结论先行AI 生成展开看要点与影响 ↓
FlagRot按通道片段选择性旋转，2.5比特下把KIVI十二模型KL散度从18.7降至12.4×10⁻³。
- •观察：旋转并非总有利，会压平尖峰键但给平坦键造新峰，两者共存于同一键。
- •每32通道片段按校准注意力误差决定是否旋转，读取时改为旋转查询。
- •逐通道缓存（如KIVI）每头一次决策无写入开销，逐token缓存把选择存进现有符号位。
- •2.5比特下KIVI十二模型KL散度从18.7降至12.4×10⁻³，9/12模型优于RotateKV。
- •作为vLLM插件使128k RULER提升2.9分，LongBench v1均值提升0.4-1.9分，并降低4比特INT与FP4缓存误差。
为什么重要：对做长上下文推理与KV缓存压缩的工程团队：以极低比特换约六倍缓存缩减，且可作为vLLM插件落地。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
Alphabet 投资 150 亿美元扩建马来西亚 AI 数据中心
AI 摘要谷歌母公司 Alphabet 宣布投资 150 亿美元，扩大马来西亚的 AI 数据中心与传统云计算业务，反映 AI 应用热潮推动算力与数字基础设施需求激增。马来西亚已成为东南亚主要数据中心枢纽，吸引甲骨文、亚马逊、阿里、字节等布局。