★ 3
研究:开源 LLM 作评委与考生预测医学题难度
论文提出用开源权重 LLM 与试题交互产生的信号来预测医学题目难度,让模型分别扮演评委(绝对评分与两两比较)和模拟考生(正确率、选项概率、响应熵等)。在 USMLE 与 PANCE 数据集上,最佳配置的 Spearman 相关系数分别达 0.447 与 0.494,超过 2024 BEA 共享任务…
arXiv NLP3 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出用开源权重 LLM 与试题交互产生的信号来预测医学题目难度,让模型分别扮演评委(绝对评分与两两比较)和模拟考生(正确率、选项概率、响应熵等)。在 USMLE 与 PANCE 数据集上,最佳配置的 Spearman 相关系数分别达 0.447 与 0.494,超过 2024 BEA 共享任务…