★ 3
LRMoE 系统在显存受限节点上加速 MoE 模型训练
论文提出 LRMoE，一种显存感知的 MoE 训练系统，在反向传播中按 token-专家对更新贡献重新校准负载，并通过容量感知路由与物理压缩减少通信与计算开销。在 Qwen3-30B-A3B 与 GLM4.5-106B-A12B 上，达到固定损失目标的累计 MoE 层训练时间比 SYMI 减少 2…
arXiv cs.AI3 天前
#显存优化
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
DuplexTune：耦合状态重放降低 MoE 微调显存
论文提出 DuplexTune，通过可训练宽度桥连接两条残差流，重放耦合隐藏状态以适配 MoE 模型，并冻结路由权重。在 Qwen1.5-MoE-A2.7B 单卡 H800 上，峰值显存 38.8GB（对比带检查点的监督微调 64.8GB），吞吐 25.1 对 19.9 样本/秒，MMLU 67.…
arXiv cs.LG5 天前
★ 3
开发者分享在 6GB 显存上预训练 10 亿参数 LLM
Hugging Face 博客作者 RitishReal 介绍如何在仅 6GB 显存条件下完成 10 亿参数大模型的预训练，通过显存优化技巧降低硬件门槛。该实践对个人开发者与小团队具有参考价值。
Hacker News – LLM6 天前
★ 3
arXiv 论文：LayerTrim 保留注意力剪枝推理模型
论文提出 LayerTrim，一种无需训练的结构化剪枝方法，通过识别冗余解码层并选择性裁剪其 MLP 特征，同时保留注意力与解码深度。在 Qwen3-14B 上实现 1.24 倍预填充加速与 19.7% 峰值显存下降，并更好保留推理能力。
arXiv cs.LG18 天前
★ 3
块扩散语言模型的掩码引导 KV 缓存淘汰
论文针对块扩散语言模型生成过程中 KV 缓存庞大、拖慢速度的问题，提出免训练的 MaskAhead 方法。它用单一掩码查询排序机制同时解决当前块的 KV 选择与未来块的淘汰，量化版本 Q-MaskAhead 直接从低位 KV 计算。在长提示问答任务上，MaskAhead 平均减少 9.5 倍 KV…
arXiv cs.LG26 天前
★ 3
循环Transformer共享记忆的意外有效性
循环Transformer通过重复使用同一组层增加算力而不增加参数，但每次递归都写入独立KV缓存，导致显存随算力增长。论文提出让循环语言模型共享记忆：仅首次递归写入缓存，后续递归读取并保留短窗口。在1.5亿至10亿参数规模下，混合变体在五次递归时相对同规模标准Transformer将FineWeb…
arXiv cs.LG28 天前
★ 3
笔记本跑7000亿参数GLM，SSD当显存
开源项目Colibrì在GitHub走红，实现无GPU环境下用SSD充当显存运行7000亿参数GLM大模型。该方案大幅降低大模型本地部署的硬件门槛。
量子位36 天前
★ 3
面向消费级 GPU 的自适应三指标 RAG 路由框架
研究指出在 NVIDIA T4 等 16GB 显存消费级 GPU 上部署 RAG 存在“压缩悖论”：神经提示压缩会加剧 KV 缓存争用与预处理延迟，不压缩则长上下文易 OOM。作者提出免训练的三指标路由器，依据空间复杂度、句法密度与类符形符比，在原始、神经压缩与词法压缩三条流水线间调度。在分布外测…
arXiv cs.LG46 天前
★ 3
残差向量重建实现超上下文窗口长文本召回
LLM 处理长文档与长对话时，token 级显存占用随输入长度线性增长，模型优化与有损提示压缩仍无法突破预训练与尺寸受限的上下文窗口。论文提出一种无需额外训练的长上下文召回方法：利用前馈层中存储事实残差向量的参数激活来重建事实，从而在不参考原文、不微调权重的情况下确定性地重建查询相关事实。实验表明…
arXiv cs.AI49 天前
★ 2
Spectra 推出优化器，将 LLM 训练显存降低 50%
Spectra Labs 发布 SpectraAdamW，一种混合优化器，通过因子化方差近似与频域动量压缩，将优化器状态显存开销减少约 50%，同时保持全精度收敛行为。该优化器可作为 torch.optim.AdamW 的一行替换，目前提供 PyTorch MVP，C++ CUDA 后端处于封闭测…
Hacker News – LLM23 天前