arXiv NLP·5 天前★ 3

arXiv 论文开源 OpenESM 能量引导模型,多数任务超越

原文标题:OpenESM: Energy-Steered Models Are Scalable Foundation Learners

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

研究者提出能量引导模型(ESM),在单一架构内整合能量引导与 生成,先优化能量景观上的隐状态再生成 。在三个大规模语料上预训练、26 个下游任务评测中,ESM 随规模与数据增长呈现良好扩展性,并在多数任务上优于 类模型;模型权重与训练基础设施已全部开源。

深读 · 结论先行AI 生成展开看要点与影响 ↓

OpenESM在26个下游任务多数优于GPT类模型,权重与训练设施全部开源

  • •能量引导模型在单一架构内整合能量引导与token生成:先优化能量景观上的隐状态再生成token
  • •在三个大规模语料上预训练,评测覆盖26个下游任务
  • •随模型规模与训练数据增长呈现良好扩展性
  • •多数下游任务优于GPT类模型,但摘要未给出具体任务数与幅度
  • •模型权重与训练基础设施全部开源,附与链接

为什么重要:能量模型长期局限于特定领域,这条主张其可做通用基础语言建模并开源全部权重,对想复现或探索非GPT架构的研究者是少见的完整开放材料。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

所属主题开源模型6
阅读原文 +0
AI 处理过程展开/收起
原始标题:OpenESM: Energy-Steered Models Are Scalable Foundation Learners
AI 中文标题:arXiv 论文开源 OpenESM 能量引导模型,多数任务超越 GPT
来源:arXiv NLP · 发布于 5 天前
分类:开源 · AI 重要度:★ 3(3)
标签:能量模型 / 大模型 / 开源模型 / 预训练
关键词:OpenESM / 能量模型 / 开源大模型 / 预训练 / 模型架构
AI 处理:2026/10/27 12:01:27 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
arXiv 论文开源 OpenESM 能量引导模型,多数任务超越 GPT - 智讯 AI News