★ 2
SANE：面向 LLM 评审的自动化蜕变测试框架
针对 LLM 作为评审模型（LLM Judge）的可靠性问题，论文提出基于智能体的 SANE 框架，可自动为不同评分器推导扰动配方与预期分数关系。在五个领域测试中，SANE 生成的验证测试族数量为 Judge Reliability Harness 的 3.7 倍，且评审排序与人类标注一致性显著更…
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对 LLM 作为评审模型（LLM Judge）的可靠性问题，论文提出基于智能体的 SANE 框架，可自动为不同评分器推导扰动配方与预期分数关系。在五个领域测试中，SANE 生成的验证测试族数量为 Judge Reliability Harness 的 3.7 倍，且评审排序与人类标注一致性显著更…