★ 2
更多程序还是更多重复：LLM Harness的覆盖与特化
论文提出受控评估，区分答案覆盖、可重复任务优势与执行前选择收益，以厘清LLM harness自动生成中的任务特化。在386个MATH-500任务上比较八个生成harness与九个字节相同的基线副本，发现相同程序带来2.16个百分点的重复平均oracle余量，但生成程序的可重复优势主要揭示持续弱点。…
arXiv cs.AI33 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出受控评估，区分答案覆盖、可重复任务优势与执行前选择收益，以厘清LLM harness自动生成中的任务特化。在386个MATH-500任务上比较八个生成harness与九个字节相同的基线副本，发现相同程序带来2.16个百分点的重复平均oracle余量，但生成程序的可重复优势主要揭示持续弱点。…