★ 3
超越模仿审稿人:评估LLM用于投稿前同行评审
本文研究作者面向的LLM系统,在投稿前生成原子关注点并压缩为简短报告,以模拟同行评审。基于ICLR 2026的3398篇论文,独立采样覆盖44.9%的历史问题,去重与补充后覆盖率提升至78.7%。然而,压缩过程损失严重,隐藏的Top-32 Oracle保留了79.3%的加权覆盖率,而仅基于论文的选…
arXiv cs.AI54 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
本文研究作者面向的LLM系统,在投稿前生成原子关注点并压缩为简短报告,以模拟同行评审。基于ICLR 2026的3398篇论文,独立采样覆盖44.9%的历史问题,去重与补充后覆盖率提升至78.7%。然而,压缩过程损失严重,隐藏的Top-32 Oracle保留了79.3%的加权覆盖率,而仅基于论文的选…
论文提出受控评估,区分答案覆盖、可重复任务优势与执行前选择收益,以厘清LLM harness自动生成中的任务特化。在386个MATH-500任务上比较八个生成harness与九个字节相同的基线副本,发现相同程序带来2.16个百分点的重复平均oracle余量,但生成程序的可重复优势主要揭示持续弱点。…