★ 2
基于贝叶斯赌博机的低成本大模型评测
研究将大模型配置选择建模为成本感知的贝叶斯赌博机问题，提出 GittinsEval 方法，利用 Gittins 策略决定下一个评测哪个配置及何时停止。在 GSM8K、PIQA、AlpacaEval、MMLU 上，该方法常仅用 1%-2% 的穷举评测成本即达到接近零的简单遗憾，并具备自适应停止规则。
arXiv cs.LG40 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究将大模型配置选择建模为成本感知的贝叶斯赌博机问题，提出 GittinsEval 方法，利用 Gittins 策略决定下一个评测哪个配置及何时停止。在 GSM8K、PIQA、AlpacaEval、MMLU 上，该方法常仅用 1%-2% 的穷举评测成本即达到接近零的简单遗憾，并具备自适应停止规则。
论文研究固定已知有向反馈图下对抗赌博机的一阶遗憾保证，弥合了最坏情况与一阶保证在图依赖上的差距。作者给出期望遗憾界 O(√(αL*)+α)，先针对自感知图设计结合 EXP3 与优化探索采样的算法，再扩展至一般强可观测图。