CM-DPO:面向 LLM 规划的约束边际直接偏好优化
研究者提出约束边际直接偏好优化(CM-DPO),用基于符号验证器的连续边际替代 DPO 的二元偏好信号,并按违规严重程度加权,同时通过词典序目标分离硬约束与软约束。在 TravelPlanner、NaturalPlan 与 PlanBench 上,8B 模型微调后达到 89.2% 通过率,性能匹配…
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出约束边际直接偏好优化(CM-DPO),用基于符号验证器的连续边际替代 DPO 的二元偏好信号,并按违规严重程度加权,同时通过词典序目标分离硬约束与软约束。在 TravelPlanner、NaturalPlan 与 PlanBench 上,8B 模型微调后达到 89.2% 通过率,性能匹配…
针对多约束指令遵循中模型常违反部分约束的问题,论文提出 CC-OPD,反转蒸馏中监督信号的生成方向:逐一从教师的条件中消融每个约束,用由此产生的逐 token 概率差构建约束信号。该方法无需外部验证器,在两组 Qwen 模型对与七个基准上取得最优平均成绩,1.5B 学生模型在 MulDimIF 上…
研究者提出 Convex-SKM-Net,一种凸约束满足层,利用残差与(次)梯度预言机构造线性化半空间,无需约束专用投影器,并以固定深度对偶投影梯度下降在 GPU 上求解。在二阶锥模型预测控制任务上推理提速最高 144.3 倍,QCQP 基准提速 7.7 倍,平均目标差距仅 0.012%。
论文将时序知识图谱问题生成视为保持约束的图到问题任务,提出 ChronoSynth,先构建时序意图状态显式表达问题语义,再从模式记忆中检索匹配的问题模式并适配、校验与迭代修订。在 CRONQUESTIONS 与 MultiTQ 上取得当前最优生成表现,消融实验验证各组件贡献。
论文提出 RAC,一种与执行框架无关的工程智能体动作与反馈契约,规定权威观测、语义动作、工具实现、独立验证与修复证据。在 PCB 布局、布线与修复任务上,RAC 在九个模型上平均清洁通过率达 90.9%,优于最强基线 74.0%;在作业车间调度中直接关系动作质量通过率 96.3%,远高于代码中介的…