★ 3
研究提出蛋白质潜在语言实现自回归生成
研究者提出两种可学习的潜在蛋白质语言:PLL 将序列映射到基于冻结 ESM-2 的 4096 状态上下文词表,SLL 则适配 GCP-VQVAE Lite 并保留骨架坐标解码。在各自 token 上预训练自回归模型得到 PLLM 与 SLLM,序列生成中低熵样本比例下降 54%,结构预测困惑度降低…
arXiv cs.LG27 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出两种可学习的潜在蛋白质语言:PLL 将序列映射到基于冻结 ESM-2 的 4096 状态上下文词表,SLL 则适配 GCP-VQVAE Lite 并保留骨架坐标解码。在各自 token 上预训练自回归模型得到 PLLM 与 SLLM,序列生成中低熵样本比例下降 54%,结构预测困惑度降低…
论文提出 Personality Latents(PL),从每个人自己的写作中学习一个潜在向量,无需人格标签或书面档案,作为软前缀注入冻结语言模型。在 MBTI 各轴上 AUC 超过 persona embedding 与提示基线,且用 Qwen2.5-3B-Instruct 学到的潜在向量可通过…
一篇 arXiv 论文研究生成模型能否像模拟器一样工作,提出「可编辑性」概念:改变模型的潜在表示能否产生与编辑模拟器状态相同的下一步输出。作者在离散棋盘游戏 Othello 和自建的连续世界 Rayworld 中测试了探针解码与逆映射两种方法,发现哪种方法有效高度依赖环境,且模型可以被一个它从未学…