★ 3
Clean优化器：线性内存实现二阶LLM训练
研究者提出Clean优化器，利用随机Nyström方法近似SOAP中的左右预条件子，将优化器内存复杂度从模型维度的二次方降至线性。其低精度变体Q-Clean在预训练LLaMA-1.3B时比Muon减少超50%优化器内存，且以比AdamW更小的状态占用在26%更短墙钟时间内达到同等性能。该方法还首次…
arXiv cs.LG27 天前
#内存效率
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
FTD-GNO：张量分解实现低内存图神经算子
论文提出 FTD-GNO，通过将高维连续积分核分解为低维模态函数，避免显式物化全边核张量。采用 CP、Tensor-Train、Tucker 等张量分解格式，显著降低核评估与聚合的内存占用。实验显示峰值内存低于未分解基线，训练时间更短，并具备良好可扩展性。
arXiv cs.LG27 天前
★ 2
残差量化提升上下文老虎机效率
论文提出以残差量化（RQ）作为表示层，将连续上下文映射为多层级离散质心分配，从而在严格有界内存下实现非线性奖励建模。在 13 个数据集上，RQ 变体在 11 个数据集上优于非 RQ 版本，且以最多少 1000 倍的内存匹配需反复重训的 XGBoost 与神经基线。该工作为在线决策场景提供了内存高效…
arXiv cs.LG28 天前
这个主题的相关资产
相关公司Ollama1