★ 3
UAA 框架为 LLM 树搜索按不确定性分配预算,省 90% token
研究指出树搜索中同一中间状态的续写高度重复,兄弟动作的语义分散度可预测下游冗余。作者提出免训练的不确定性感知分配(UAA),用分散度决定哪些候选值得扩展。在数学、逻辑与规划基准上,UAA 在精度相当的情况下最多减少 90% token 用量、延迟降低至多 9 倍,并适用于四种树搜索算法与开源/闭源…
arXiv NLP14 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究指出树搜索中同一中间状态的续写高度重复,兄弟动作的语义分散度可预测下游冗余。作者提出免训练的不确定性感知分配(UAA),用分散度决定哪些候选值得扩展。在数学、逻辑与规划基准上,UAA 在精度相当的情况下最多减少 90% token 用量、延迟降低至多 9 倍,并适用于四种树搜索算法与开源/闭源…
论文将树状 rollout 构建视为策略梯度估计的计算分配问题,提出 EPIG-Tree 评分,主张分支应放在能最大程度降低策略梯度不确定性的位置,而非仅凭策略不确定处。方法在克隆状态控制中降低梯度 MSE,在 13 个连续控制环境中全部胜出,并在多轮 Wordle 在线任务中取得 0.850 最…
论文提出 SIFT(Recursive Self Improvement via Fast Tree-search),针对编码智能体自我修改时评估瓶颈问题,引入 LLM-as-a-judge 对候选补丁做成对比较,用正则化 Bradley-Terry 模型聚合胜负记录,驱动轻量分离式树搜索中的排名…
该研究提出ExTS树搜索策略,将扩展视为信息价值决策,结合判别性奖励塑造、随机虚拟子节点和质量条件分支。在提示优化、代码生成、分子结构解析和智能体工作流优化等任务中,ExTS平均相对增益+5.5%,并引入试点运行诊断以理解问题结构差异。
论文将计算对齐训练(CAT)扩展到策略引导的树搜索场景,推导出可处理的、有轨迹支撑的损失函数,并提出搜索无关的均匀分配(UA)损失。两种方法都在每条策略的交叉熵梯度上施加标量权重。在 Lean 基准的六种搜索策略上,二者证明成功率均高于交叉熵,且预算扫描显示 CAT 能随测试时算力扩展。