★ 3
论文:短多项式程序加速 LLM 特殊函数运算
论文探索用短多项式程序加速大模型中的特殊函数单元运算,在 NVIDIA Blackwell 上替换 sigmoid、tanh、SiLU 等为三至四次 BF16 多项式。隔离路径提速 1.19–2.19 倍,训练步吞吐提升最高 8%,且训练损失差异极小。
arXiv cs.LG31 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文探索用短多项式程序加速大模型中的特殊函数单元运算,在 NVIDIA Blackwell 上替换 sigmoid、tanh、SiLU 等为三至四次 BF16 多项式。隔离路径提速 1.19–2.19 倍,训练步吞吐提升最高 8%,且训练损失差异极小。
YC S25 创业公司 Magnitude 推出开源推理引擎,可在本地设备上编译并调优内核,使开源模型运行速度最高达 llama.cpp 的两倍。一键即可连接 Pi、Codex、Claude Code 等现有智能体,支持 Apple Silicon、NVIDIA、AMD 及纯 CPU,数据全程本地…
Reactor 与 AWS 合作,利用 Neuron Kernel Interface 解决实时自回归扩散模型在动态形状、内存访问模式和缓存管理上的难题。所构建的技术可跨模型泛化,为在 Trainium 芯片上实现实时视频生成提供了内核级方案。