★ 3
研究：推理能否提升大模型心理深度取决于评判者
论文通过短篇故事的心理深度研究LLM-as-a-Judge的失效模式，七位人类读者与在原始PDS数据集上筛选的LLM评审团评估60对盲测故事。人类偏好未显示普遍推理优势：GPT-5略优于GPT-4o，而DeepSeek-R1落后V3，读者间一致性接近随机（α=0.070）。评审团却在89%维度比较…
arXiv cs.LG48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文通过短篇故事的心理深度研究LLM-as-a-Judge的失效模式，七位人类读者与在原始PDS数据集上筛选的LLM评审团评估60对盲测故事。人类偏好未显示普遍推理优势：GPT-5略优于GPT-4o，而DeepSeek-R1落后V3，读者间一致性接近随机（α=0.070）。评审团却在89%维度比较…