★ 3
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍
论文提出 LazyFlash 注意力方法，前向保持稠密、反向按梯度范数做块稀疏，跳过对参数更新贡献极小的 query 块。该方法在 FlashAttention 反向核内实现，长上下文文本与语音 LLM 实验显示注意力反向最高提速 5.7 倍、端到端训练提速 1.7 倍，且下游性能不降。
arXiv NLP7 天前
#训练加速
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CARE：扩散模型条件感知表示正则化
研究提出 CARE，一种轻量即插即用的正则化框架，根据条件相似度动态调制特征分布，无需显式对齐损失或外部监督。在 ImageNet 上 40 万步训练使 FID 降低 19.08%，实现 3.5 倍加速；文生图任务中 FID 降低 16.61% 并改善语义对齐。CARE 可与现有正则化方法叠加使用。
arXiv cs.LG38 天前
★ 2
arXiv 论文：残差门控揭示扩散 Transformer 训练加速机制
论文重新审视 REPA 等扩散 Transformer 训练加速方法，发现 AdaLN-Zero 残差门控 α 被显著重组，加速部分源于门控通路重塑而非辅助目标施加的特征结构。作者提出归一化参与率 nPR 刻画门控通道组织，并给出无需教师的径向目标以促进更广门控参与。在 ImageNet 256×…
arXiv cs.LG4 小时前
★ 2
新调度法加速 SE(3) 等变结构预测
arXiv 论文针对等变结构预测中动态 kNN 图重建开销，提出两遍拓扑调度设计，将图构建基选择形式化为阻尼不动点迭代。方法给出非翻转证书、最小方差重放增益与信赖域投影，C++ 实现实现 1.5 倍首遍与 1.76 倍每轮加速且无精度损失，代码已开源。
arXiv cs.LG18 天前
★ 2
文本到图像模型训练提速3.6倍
一项技术分享介绍了将文本到图像模型训练速度提升3.6倍的方法，在Hacker News获得14分与1条评论。该优化对降低扩散模型训练成本、加速生成式AI研发具有实用价值。
Hacker News46 天前