★ 3
CIRCE:从约束结构预测 LLM 任务复杂度
研究提出 CIRCE,用低成本 LLM 构建约束中间表示并编译为约束图,从而在模型作答前预测任务复杂度,可指导模型路由与测试时算力分配。在七个推理基准与四个 LLM 上,即使随机初始化的 GNN 编码器也将 AUROC 从 0.691 提升至 0.727。
arXiv cs.AI4 小时前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出 CIRCE,用低成本 LLM 构建约束中间表示并编译为约束图,从而在模型作答前预测任务复杂度,可指导模型路由与测试时算力分配。在七个推理基准与四个 LLM 上,即使随机初始化的 GNN 编码器也将 AUROC 从 0.691 提升至 0.727。
论文将计算对齐训练(CAT)扩展到策略引导的树搜索场景,推导出可处理的、有轨迹支撑的损失函数,并提出搜索无关的均匀分配(UA)损失。两种方法都在每条策略的交叉熵梯度上施加标量权重。在 Lean 基准的六种搜索策略上,二者证明成功率均高于交叉熵,且预算扫描显示 CAT 能随测试时算力扩展。