★ 2双向偏好合成：从边界失败中学习提示条件偏好论文提出双向偏好合成（BPS），针对边界失败——即违反原指令却连贯满足邻近意图的回复——在保留原提示下前向偏好对的同时，为合成出的「实际达成提示」添加反向偏好对，使同一回复在错误处被拒、在正确处被选。该方法不改变 DPO 目标、无需奖励模型或在线采样。在 Qwen3-4B-Instruct-250…arXiv cs.AI27 天前