★ 2
arXiv 发布 COMPREHEND 基准：用蕴含层级细分提示词分类
论文提出 COMPREHEND，自动为提示词构建超细粒度蕴含层级，用句子替代聚类名称以更精确描述提示分布，从而识别大模型的具体强弱项。在 WildBench 上蕴含/忠实度指标从 22.6 提升至 41.7，信息量指标从 16.3 提升至 39.1，优于 EvalTree。基于该层级的弱点报告在预…
arXiv NLP14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 COMPREHEND，自动为提示词构建超细粒度蕴含层级，用句子替代聚类名称以更精确描述提示分布，从而识别大模型的具体强弱项。在 WildBench 上蕴含/忠实度指标从 22.6 提升至 41.7，信息量指标从 16.3 提升至 39.1，优于 EvalTree。基于该层级的弱点报告在预…