★ 2
arXiv 论文提出 RCG 指标:LLM 合成问卷受访者覆盖不足
论文指出「硅采样」用 LLM 模拟人口学属性受访者生成合成人群,但现有评估只看单题准确率与分布,不比较受访者整体。作者提出受访者覆盖差距(RCG),以完整答题画像衡量人类受访者与最近生成受访者的距离。在两项美国社会调查上,六个 LLM 均未覆盖人类受访者,表现不及独立边际采样基线。
arXiv NLP10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出「硅采样」用 LLM 模拟人口学属性受访者生成合成人群,但现有评估只看单题准确率与分布,不比较受访者整体。作者提出受访者覆盖差距(RCG),以完整答题画像衡量人类受访者与最近生成受访者的距离。在两项美国社会调查上,六个 LLM 均未覆盖人类受访者,表现不及独立边际采样基线。