arXiv 论文开源 OpenESM 能量引导模型,多数任务超越 GPT
原文标题:OpenESM: Energy-Steered Models Are Scalable Foundation Learners
重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。
研究者提出能量引导模型(ESM),在单一架构内整合能量引导与 token 生成,先优化能量景观上的隐状态再生成 token。在三个大规模语料上预训练、26 个下游任务评测中,ESM 随规模与数据增长呈现良好扩展性,并在多数任务上优于 GPT 类模型;模型权重与训练基础设施已全部开源。
深读 · 结论先行AI 生成展开看要点与影响 ↓
OpenESM在26个下游任务多数优于GPT类模型,权重与训练设施全部开源
- •能量引导模型在单一架构内整合能量引导与token生成:先优化能量景观上的隐状态再生成token
- •在三个大规模语料上预训练,评测覆盖26个下游任务
- •随模型规模与训练数据增长呈现良好扩展性
- •多数下游任务优于GPT类模型,但摘要未给出具体任务数与幅度
- •模型权重与训练基础设施全部开源,附GitHub与HuggingFace链接
为什么重要:能量模型长期局限于特定领域,这条主张其可做通用基础语言建模并开源全部权重,对想复现或探索非GPT架构的研究者是少见的完整开放材料。
以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构,据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施,可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重,主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重,主打网络安全场景,称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4(Le Chonk)权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4,代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论,标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型,KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型,通过将KV Cache压缩99%,实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。