★ 3
SAGE：2 比特向量量化 LLM 逼近可用
论文提出 SAGE 权重向量量化方法，用能量分层分组（ESG）保护敏感权重通道，用自适应比特拆分（ABS）在固定比特预算下平衡方向码本与半径精度。在 2 比特设置下达到 SOTA，Qwen3-30B-A3B 保留 BF16 平均基准分的 95.3%，配合定制 CUDA 内核较 FP16 端到端加速…
arXiv cs.AI19 天前
#向量量化
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Codebook Agent：大模型多智能体系统拓扑设计
提出Codebook Agent方法，用向量量化自编码器压缩成功拓扑为码本，通过奖励加权MLP和代理重排序实现高效拓扑生成。在六个基准上准确率最高，且延迟和token消耗更低。
arXiv cs.AI60 天前
★ 2
arXiv 提出 TRACE 码本编码降低分布式 Transformer 推理通信
TRACE 在每层 Transformer 注意力后残差处放置向量量化器，预计算码本索引的键值表示，使接收端通过查表直接恢复 K/V，实现通信与计算重叠。在 ViT-Base 与 ViViT-B 上精度最高提升 1.89%、端到端推理加速 1.27 倍，通信开销相比未压缩序列并行推理最多降低 22…
arXiv cs.LG14 天前
★ 2
向量量化测地线助力LLM智能体空间理解
论文提出将几何工具与LLM编排器结合，在网格世界环境中提升智能体的空间理解能力。智能体先收集测地线轨迹并做向量量化，离线由LLM为每条轨迹生成自然语言描述作为工具，在线根据状态与目标选择工具。实验显示该方法让非推理配置达到昂贵思维链版本的目标达成率，同时将决策成本从分钟级降至秒级。
arXiv cs.AI31 天前
这个主题的相关资产
相关公司阿里巴巴1