★ 3
研究：LLM 缺乏规范能力，只会模仿行为难辨社会规则
论文提出多智能体社区辩论设定，研究 LLM 的「规范能力」，即仅从交互中辨别社区所执行规范的能力。实验显示基线 LLM 智能体即使学习规范能提升准确率也学不会，且当真实规范伴随非规范性行为时会出现无选择性归因失败，不加区分地模仿噪声。作者称这是首次对 LLM 规范能力进行可操作化评估。
arXiv cs.AI24 天前
#LLM对齐
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
GAP-DPO：梯度对齐的个性化偏好优化
论文将个性化偏好学习形式化为几何对齐优化问题，分析用户效用梯度与DPO更新方向的一阶交互。研究发现当偏好边际与效用梯度方向对齐时，DPO更新从纠错信号转变为类强化学习更新，据此提出GAP-DPO算法进行效用感知的几何对齐配对选择。实验表明该方法在风格保真度、偏好对齐和生成质量上优于标准DPO变体。
arXiv cs.AI31 天前
★ 3
AIMES：基于因果激活引导的 LLM 多值自适应控制
论文提出 AIMES 框架，用于大语言模型的自适应多值激活引导。它构建道德基础价值的层特定双极方向，并以中间层词汇读出作为在线观察者，在每个解码步动态调整各价值干预强度，无需训练独立的价值状态估计器。实验显示多值可控性随价值组合与干预深度变化，相比固定联合引导与提示引导具有深度相关优势，且实际激活…
arXiv cs.LG35 天前
★ 3
COPE：稀疏反馈下基于用户嵌入与自评估的LLM持续个性化
论文提出 COPE 框架，为每个用户分配可学习嵌入，将偏好捕获、自评估校准与个性化响应优化整合到单步更新中。其创新在于用自评估生成代理奖励，在缺乏显式用户反馈时仍能持续更新模型。实验显示 COPE 在稀疏反馈下优于免训练与训练类基线，并与检索增强提示互补。
arXiv cs.LG39 天前
★ 3
面向 LLM 定向危害缓解的模块化框架
论文提出模块化纠错框架，通过 Activated LoRA 适配器与上下文感知路由机制，在生成过程中低延迟地定向消除偏见、毒性等有害输出。专家适配器可在序列中途激活而不使 KV 缓存失效，在安全基准上提升对齐同时保持任务性能。
arXiv cs.LG48 天前
★ 2
RAEM：排序感知的列表偏好本地差分隐私发布
论文指出列表式偏好反馈比成对比较提供更丰富监督，但完整排序泄露更多敏感偏好，而现有隐私对齐方法多针对成对反馈。作者提出排序感知指数机制RAEM，将列表偏好私有化为低敏感度粒度，把噪声集中在边界项附近。在同等隐私预算下，其下游LLM对齐效果稳定优于现有LDP基线。
arXiv NLP3 天前