★ 3
LLM 推理中束搜索的可证明测试时扩展
论文为 LLM 推理中常用的束搜索建立测试时计算理论保证,证明朴素束搜索需 Ω(C*(x)²) 采样才能保留最优响应。据此提出置信过滤束搜索 CF-Beam,在前缀竞争性下将覆盖依赖从二次降至近线性。结果显示束搜索相较 Best-of-N 等方法在长推理链上更具鲁棒性。
arXiv cs.LG32 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文为 LLM 推理中常用的束搜索建立测试时计算理论保证,证明朴素束搜索需 Ω(C*(x)²) 采样才能保留最优响应。据此提出置信过滤束搜索 CF-Beam,在前缀竞争性下将覆盖依赖从二次降至近线性。结果显示束搜索相较 Best-of-N 等方法在长推理链上更具鲁棒性。
针对生成式推荐中大束解码在循环线性注意力下面临的内存与流量开销,论文提出OneLA框架,用单一共享提示派生状态与紧凑追加式分歧转移记录表示所有束状态,配合轻量祖先索引与融合GPU内核。分析显示OneLA实现1.54-2.46倍端到端解码加速,同时大幅降低循环状态内存占用与数据搬运。
研究指出生成式推荐依赖离散语义ID与有限宽度束搜索,会限制目标项进入返回列表。论文提出 CQG-Single 与 CQG-AR 两种连续查询范式,去除 SID 词表与离散束扩展,使所有编码项可直接打分检索。CQG-Single 在七次运行中均超过 TIGER 类基线,且可训练参数仅为55.3%。
论文首次在黑盒设定下研究 AMR 解析器的不确定性估计,利用 top-k 束搜索候选的成对相似度计算不确定性,并用 Prediction Rejection Ratio 评估。研究刻画了解析性能与不确定性的关系,识别出性能与可靠性平衡最佳的解析器。