★ 3
研究：无标注评分标准澄清提升 LLM 评审共识但未贴近人类
论文提出一种无标注流程，将 LLM 评审团的分歧转化为评分标准修订，在 SummEval 上将评审间一致性提升 0.069，但与专家评分的一致性无显著变化。在 HealthBench 与 USR 上，评审间一致性与人类一致性均未达到预注册效应标准。
arXiv NLP21 天前
#预注册研究
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
预注册研究：提示优化器会破坏未计分要求
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验，发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示，在 200 token 输出上限下大量回答因先输出推理而截断，放宽上限后内容回归基本…
arXiv NLP21 天前
★ 2
证据遮蔽驱动组合泛化的预注册六方验证
研究通过预注册实验验证限制模块可读取的信息能提升系统学习计算的能力。六十个共享冻结语言模型主干、通过连续数据包通信的系统在五种条件下测试证据遮蔽与角色标记。遮蔽使留出的两操作与三操作组合准确率中位配对差分别提升0.846和0.859，全部十二对均达标，但角色信息的作用仍未确定。
arXiv cs.AI46 天前