研究:LLM 能否可靠批改奥赛数学证明,MABGrader 误差降 14%
论文系统研究 LLM 对奥赛级数学证明的验证能力,构建 USAMO 2025 人工评分数据集,并评测 20 个模型、七项指标。作者提出 TROJAN 对抗证明生成流程与 MABGrader 多臂老虎机评分框架,后者在二次加权 Kappa 上超 SOTA ProofGrader 26.4%,评分误差…
共 8 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文系统研究 LLM 对奥赛级数学证明的验证能力,构建 USAMO 2025 人工评分数据集,并评测 20 个模型、七项指标。作者提出 TROJAN 对抗证明生成流程与 MABGrader 多臂老虎机评分框架,后者在二次加权 Kappa 上超 SOTA ProofGrader 26.4%,评分误差…
研究将语言和视觉Transformer的结构化剪枝建模为损伤感知的多臂老虎机问题,在固定评估预算下选择功能单元。配对损伤减少批次间差异,平滑有界奖励驱动UCB或分数Beta汤普森采样。实验覆盖多种模型,与随机、幅度等基线相比,老虎机方法通常减少性能下降,但效果并非仅由更大预算解释。
论文提出基于真实平台分布的用户仿真框架,建模约 4.2 万名创作者及其 12 周内的观众交互,用于评估预算化多臂老虎机形式的公平曝光分配策略。带保底的内容曝光目标与曝光均衡差奖励可保证每周 90% 曝光目标达成,小创作者自然触达每周增长约 33%,并分析 Sim2Real 差距提出验证协议。
论文研究在查询成本异构的多个大语言模型中识别最优模型的问题,将其建模为带对决反馈与异构采样成本的多臂老虎机变体。在 Condorcet 胜者假设下,作者提出 Track-and-Stop 风格算法并证明其渐近最优成本,在合成与真实数据上均优于成本无关算法及其成本感知扩展。
针对批量更新的多臂老虎机,传统实现沿用各臂绝对奖励率,当共享水平在批次间漂移时记忆失效。论文提出赔率比汤普森采样(OR-TS),改为携带对数赔率对比的联合后验并在每批重新拟合公共水平。在 86 个公开 A/B 序列中水平波动约为对比的 25 倍,合成环境中绝对率记忆的遗憾值是 OR-TS 的五倍,…
论文研究对抗性多臂老虎机中比较臂序列最多切换 S 次的切换遗憾问题。当 S 未知时,此前在自适应对手下被证明无法达到最优界。本文提出单一算法在 oblivious 对手下对任意 S 均达到最优期望遗憾,解决了 Auer 等人 2019 年的公开问题。
论文研究探索有硬预算且先于利用的多臂老虎机变体,证明此前 1/3 与 4/27 近似算法的分析是紧的。作者给出达到 0.43 近似的高效算法,并在有界可交换奖励观测下将保证提升至接近 1-e⁻¹(约 0.63),该技术还可用于序列模型评估的停止判定。
论文研究可复用资源的在线任务分配问题,将其建模为上下文无休止多臂老虎机(CRMAB),推导出占用测度 LP 上界及对偶闭式指数策略 Lag。在同行评审与呼叫中心路由数据上,Lag 达到 LP 上界的 83-99%,在期刊数据上比贪心策略提升最多 12.3%。