arXiv cs.AI·49 天前★ 3

OneLA：生成式推荐中大束搜索的线性注意力解码扩展

原文标题：OneLA: Scaling Linear-Attention Decoding to Large Beams in Generative Recommendation

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

针对生成式推荐中大束解码在循环线性注意力下面临的内存与流量开销，论文提出OneLA框架，用单一共享提示派生状态与紧凑追加式分歧转移记录表示所有束状态，配合轻量祖先索引与融合GPU内核。分析显示OneLA实现1.54-2.46倍端到端解码加速，同时大幅降低循环状态内存占用与数据搬运。

深读 · 结论先行AI 生成展开看要点与影响 ↓

OneLA用共享提示状态表示所有束，生成式推荐解码提速1.54-2.46倍

为什么重要：生成式推荐需一次解码数百候选，这条为线性注意力serving提供了可量化的束搜索优化，直接影响推荐系统的推理成本与延迟。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：OneLA: Scaling Linear-Attention Decoding to Large Beams in Generative Recommendation

AI 中文标题：OneLA：生成式推荐中大束搜索的线性注意力解码扩展

来源：arXiv cs.AI · 发布于 49 天前

分类：算力芯片 · AI 重要度：★ 3（3）

标签：线性注意力 / 束搜索 / 生成式推荐 / 推理加速 / GPU内核

关键词：linear attention / beam search / generative recommendation / decoding

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐