★ 3
arXiv 论文开源 OpenESM 能量引导模型,多数任务超越 GPT
研究者提出能量引导模型(ESM),在单一架构内整合能量引导与 token 生成,先优化能量景观上的隐状态再生成 token。在三个大规模语料上预训练、26 个下游任务评测中,ESM 随规模与数据增长呈现良好扩展性,并在多数任务上优于 GPT 类模型;模型权重与训练基础设施已全部开源。
arXiv NLP6 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出能量引导模型(ESM),在单一架构内整合能量引导与 token 生成,先优化能量景观上的隐状态再生成 token。在三个大规模语料上预训练、26 个下游任务评测中,ESM 随规模与数据增长呈现良好扩展性,并在多数任务上优于 GPT 类模型;模型权重与训练基础设施已全部开源。
论文提出 Transformer 能量模型 TEM,在潜空间中构建可扩展的 transformer 能量函数,并多层能量求和以融合局部纹理与全局语义约束。配合正表示对齐 PRA 与改进采样策略,TEM-XL 在无分类器引导下于类条件 ImageNet 256×256 取得 FID-50K 3.82…
论文研究随机探索能否在无策略改进训练下支持长程规划,通过随机游走分析揭示不同时间跨度包含的关系结构。提出基于条件能量模型的方法,用噪声对比估计训练估计时间对数密度比,在迷宫规划、自我中心导航与操作规划任务上验证了多尺度认知地图特性。
论文针对稀疏图链接预测中扩散启发式连通性不足与几何方法谱不稳定的问题,提出能量框架 Concorde,将链接似然分解为无参数谱锚点、混合曲率流形残差与双曲切丛向量场三个解耦分支,经学习门控融合。在五个覆盖稀疏、稠密、无特征与带属性场景的基准上,稀疏设置下 P@10% 接近翻倍,取得领先的早期检索精…
论文针对测试时发现(TTD)任务中已知与未知类特征能量间隙不稳定、易坍缩的问题,提出 Energy Ring 方法。该方法将两类锚定在分离的能量环上,用轻量适配器扩大范数间隙并保持已知类方向,配合扰动一致性模块形成未知类紧凑簇。实验显示其显著优于现有 TTD 方法。