arXiv cs.AI·24 天前★ 3

研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化

原文标题:The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文发现最小化重建损失所偏好的权重未必带来更好下游性能,输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust (DRQ),在约束激活分布集上最小化最坏情况重建损失,改进 、、ParoQuant 等六种 PTQ 方法且不增加推理开销。

深读 · 结论先行AI 生成展开看要点与影响 ↓

DRQ 指出低重建损失权重未必下游更好,改为最小化最坏情况重建损失,改进六种 PTQ 方法。

  • •论文发现最小化重建损失偏好的权重,在输入激活分布变化时下游表现反而更差
  • •提出 Distributionally Robust Quantization,在约束激活分布集上最小化最坏情况重建损失
  • •改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法
  • •不增加推理开销

为什么重要:低比特量化的优化目标与真实下游性能存在错位,DRQ 提供不增的通用修正方向。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate
AI 中文标题:研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化
来源:arXiv cs.AI · 发布于 24 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:模型量化 / 低比特量化 / PTQ / 分布鲁棒 / 推理优化
关键词:LLM 量化 / 低比特量化 / DRQ 量化 / 训练后量化 / 模型压缩
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化 - 智讯 AI News