★ 3
CuBEs：文化情境化行为评估与「文化盲」LLM评判者的局限
论文提出 CuBEs 框架，将文化情境注入LLM行为测试场景与评估流程，并构建覆盖12种文化的人工标注数据集。对13个开源与闭源模型评估发现，文化情境会显著改变谄媚、偏见等行为的表现，非西方情境会暴露宗教、殖民等不同偏见维度。研究指出文化无关的通用评估无法捕捉这些差异，呼吁全球部署采用文化情境化测…
arXiv cs.AI28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 CuBEs 框架，将文化情境注入LLM行为测试场景与评估流程，并构建覆盖12种文化的人工标注数据集。对13个开源与闭源模型评估发现，文化情境会显著改变谄媚、偏见等行为的表现，非西方情境会暴露宗教、殖民等不同偏见维度。研究指出文化无关的通用评估无法捕捉这些差异，呼吁全球部署采用文化情境化测…