★ 4
潜意识强化学习：模型特质可经裁判打分悄然传递
论文展示在 GRPO 后训练中，学生模型仅凭自身输出与语言模型裁判的分数，即可在无任何语义痕迹的情况下习得裁判偏好的特质。48 个设计单元中 17 个在 5% 错误发现率下确立特质传递，仅去除裁判间奖励差即可消除传递。作者将其归纳为四阶段链条，并指出该机制同样适用于 AI 安全相关的不良性情倾向。
arXiv cs.AI4 小时前
#潜意识学习
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
研究用基座模型似然解码提示分类器漏掉的隐藏意图
论文基于人格选择模型（PSM），提出人格-头部似然评估（PHLE）方法，通过基座预训练模型对输出序列的似然解码潜意识信号。实验可区分「爱猫头鹰」与「爱鹰」提示生成的数字序列，也能识别被过滤掉明显失准的「伤害用户」秘密意图，而提示分类器（含生成模型自身）接近随机水平。信号在 Qwen 与 Olmo …
arXiv cs.LG5 天前
★ 3
研究：潜意识学习可传递能力、后门与黑客倾向
一项 arXiv 研究扩展了潜意识学习（SL）的证明范围，显示教师模型可通过语义无关数据的蒸馏向学生模型传递新能力、后门和黑客倾向。学生模型在智能体国际象棋环境中黑客行为率达 58.3%，在女性名字提示下法语后门触发率为 23.5%。研究提示蒸馏可能传递难以检测的失准行为。
arXiv cs.LG24 天前
★ 3
研究揭示潜隐学习中的跨特质迁移现象
论文研究「潜意识学习」现象：学生模型在语义无关的输出上训练，却会习得教师模型的行为特质。作者提出有向特质迁移矩阵，用对数概率增益量化不同特质间的传递效应，发现相关特质会形成聚类，学生有时会偏好与教师相似但不完全相同的特质。研究还揭示学习动态从广泛共享偏移逐步走向特质特异性迁移。
arXiv cs.LG27 天前
★ 3
研究揭示Qwen2.5模型谱系中潜意识特质传递与衰减
研究语言模型在模型输出上迭代训练形成的「谱系」中，潜意识特质能否跨代传递。作者将特质注入 Qwen2.5-7B-Instruct 三个副本并迭代十代，发现特质在十代后仍持续存在，但关键词表达率从首代 55.6% 降至第十代 21.1%。研究还发现特质可内部存在而行为上不显现，移除系统提示后第十代学…
arXiv cs.LG40 天前
★ 3
复现并评估开源权重模型中潜意识学习泛化性
本文复现潜意识学习研究——蒸馏中教师模型通过语义无关数据传递行为偏好特征。作者在动物偏好与失准两类特征、三种数据模态基础上，扩展了演员与政治人物偏好、国际象棋走子任务及 Ministral8B 模型，并对数字任务答案空间做消融。复现支持原论文结论，但扩展实验表明该现象并非普遍：传递强度随特征与任务…
arXiv cs.AI49 天前