★ 3
SNACK：GPU 上真正稀疏的神经网络层
论文提出 SNACK，一种真正稀疏的 GPU 层，只存储与计算非零连接，并提供简洁的 PyTorch API 支持稀疏范式下的梯度反向传播。其配套 SNACK-COO 定制 COO 格式 SpMM CUDA 内核针对小批量、高稀疏场景优化。在 90% 稀疏度下单层训练提速 8 倍、推理提速 4 倍…
arXiv cs.LG27 天前
#GPU内核
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
变异分析衡量 GPU 内核基准测试的可靠性
论文指出 LLM 生成 GPU 内核的基准测试仅用少量随机输入和宽松浮点容差判定正确性，却直接影响排行榜与强化学习奖励。作者引入变异分析作为测试充分性度量，向 188 个 KernelBench 问题的 CUDA 实现注入 10303 个可编译故障。结果显示官方检查确定性漏检六分之一故障，精度类故…
arXiv cs.LG41 天前
★ 3
AutoTuneBench：LLM 服务引擎自动调优的可信度量
论文指出 LLM 智能体调优 GPU 内核与服务引擎的闭环测量不可信，归纳出稻草人基线、绝对时间不可迁移、任务饱和、基础设施缺陷四类失败模式。作者提出 AutoTuneBench 基准与测量协议，通过代码冻结、数据库校验、反作弊与预注册读数使可信度架构化。诚实测量大幅改写结论：最佳内核相对朴素基线…
arXiv cs.AI46 天前
★ 3
AttnFuse：编译注意力为融合 GPU 内核的 DSL
论文提出 AttnFuse，一种面向注意力的组合式 DSL，将 RoPE 等乘法前变换作为一等操作，可编译为单个融合 GPU 内核。在 RTX 3090 上较 flex_attention 提速 2.10 倍，在 H100 上 Llama-3-8B 训练步与 PyTorch 手调后端差距在 5% …
arXiv cs.LG48 天前
★ 3
OneLA：生成式推荐中大束搜索的线性注意力解码扩展
针对生成式推荐中大束解码在循环线性注意力下面临的内存与流量开销，论文提出OneLA框架，用单一共享提示派生状态与紧凑追加式分歧转移记录表示所有束状态，配合轻量祖先索引与融合GPU内核。分析显示OneLA实现1.54-2.46倍端到端解码加速，同时大幅降低循环状态内存占用与数据搬运。
arXiv cs.AI49 天前
★ 2
AI作为编译器：绕过Triton编译器编译内核
一篇arXiv论文提出将AI用作编译器，在不依赖Triton编译器的情况下编译Triton内核，探索用AI生成高效GPU内核代码的路径。该研究对AI编译与算子优化有潜在意义。
Hacker News – AI32 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1