★ 3
AI 研究团队自主发现线性注意力架构，1.3B 规模超越 GDN2
论文构建由不同学科背景的持久化 AI 研究者组成的团队，各自保留私有研究历史、共享实验证据并通过自适应分配获得研究机会。该团队在搜索线性注意力架构时，于 1.3B 规模的语言建模、常识推理与检索任务上超越 GDN2；消融显示学科背景、私有历史与自适应分配缺一不可。
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文构建由不同学科背景的持久化 AI 研究者组成的团队，各自保留私有研究历史、共享实验证据并通过自适应分配获得研究机会。该团队在搜索线性注意力架构时，于 1.3B 规模的语言建模、常识推理与检索任务上超越 GDN2；消融显示学科背景、私有历史与自适应分配缺一不可。