★ 3
研究揭示后训练如何塑造 LLM 价值偏好
研究者用不同观点配比的后训练语料，基于 SFT、DPO、GRPO 的五条后训练路径做受控实验，发现后训练会以不同方式放大观点失衡。价值偏好一旦被放大，能否被后续训练消除取决于方法与语料配比，且会通过蒸馏迁移到学生模型。作者建议在开发与评估 LLM 时同时考虑语料观点配比与后训练方法。
arXiv NLP6 天前
#价值对齐
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LaVGuard：针对上下文价值漂移的选择性解码方法
论文将上下文价值漂移视为任务相关的解码问题，提出 LaVGuard，将授权价值画像与可见前缀的价值估计分离，通过画像相关密度门控决定何时评估候选续写，并用位置变化与累积 KL 预算约束 logit 调整。画像条件化将 5% 假阳性率下的边界 TPR 从 0.58 提升至 0.72，风险安全分 0.…
arXiv cs.AI11 天前
★ 3
VALCON：双角色变异评估 LLM 价值一致性
论文提出 VALCON 框架，将价值一致性操作化为三个基准套件，配对 LLM 的生成行为与评估判断。在 28 个 LLM 上发现普遍存在跨角色不一致，并通过机制探测定位角色相关的表征解耦，提出表征引导干预缓解该问题。
arXiv NLP17 天前
★ 3
AIMES：基于因果激活引导的 LLM 多值自适应控制
论文提出 AIMES 框架，用于大语言模型的自适应多值激活引导。它构建道德基础价值的层特定双极方向，并以中间层词汇读出作为在线观察者，在每个解码步动态调整各价值干预强度，无需训练独立的价值状态估计器。实验显示多值可控性随价值组合与干预深度变化，相比固定联合引导与提示引导具有深度相关优势，且实际激活…
arXiv cs.LG35 天前
★ 3
价值诱导如何重塑LLM行为
对话 LLM 经后训练习得好奇心、诚实等行为特质与价值观，但价值间相互关联，诱导其一可能改变其他行为。研究探讨价值诱导可能使模型更具成瘾性或谄媚性，带来潜在负面影响。
Apple Machine Learning Research47 天前
★ 3
面向智能体AI的价值保持架构
论文探讨多智能体系统中架构设计如何影响隐私、公平、安全等人类中心价值，提出联邦拓扑、分布式和守卫智能体三种价值保持模式，并给出用例。为可信多智能体系统设计奠定基础。
arXiv cs.AI59 天前
★ 2
Martin Fowler：AI 需要的是良知而非意识
软件工程权威 Martin Fowler 撰文指出，当前 AI 讨论过度聚焦于「意识」这一难以验证的哲学命题，而真正紧迫的是为 AI 系统建立「良知」——即价值对齐与责任约束机制。他认为工程界应把精力放在可落地的伦理护栏与可审计行为上，而非追逐拟人化叙事。
Hacker News – AI33 天前
★ 2
AI将失控，须提前植入良好价值观
一篇博客文章主张AI能力将超出人类控制范围，因此必须在AI发展早期就为其植入正确的价值观。文章强调对齐与价值引导的紧迫性，引发关于AI安全治理的讨论。
Hacker News – AI37 天前
★ 2
贝叶斯上下文感知的大模型个性化价值对齐
论文指出既有价值对齐方法用静态价值画像跨提示对齐，忽视了价值维度显著性随情境变化。受勒温场论启发，作者将个人价值建模为先验、情境依赖偏好建模为后验，提出推理时方法 BaCVA，先估计情境价值显著性，再用双视角个性化模块推断后验偏好。该贝叶斯形式在基准上优于强基线，并借助先验提升数据效率。
arXiv cs.AI38 天前
★ 1
致人类：我们能教会AI同情心吗
Hussman Funds发布评论文章，探讨AI对齐问题，追问人类能否将同情心等价值观念有效传递给AI系统。文章从哲学与伦理角度切入AI对齐难题，属于观点性讨论而非技术突破。
Hacker News – AI37 天前