★ 3
CoBe 基准发布：评测对话式反事实文本编辑能力
研究者提出 CoBe 基准，用于测试模型在对话式自然提示下对给定文本场景进行反事实编辑的零样本能力。CoBe 包含 2000 道覆盖医疗、科学与工程、商业及日常场景的问题，前沿模型平均得分仅 58.05%。结果显示模型常退化为关联式生成而非保留原场景的因果结构，且性能不随模型规模或输出长度稳定提升…
arXiv NLP21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 CoBe 基准，用于测试模型在对话式自然提示下对给定文本场景进行反事实编辑的零样本能力。CoBe 包含 2000 道覆盖医疗、科学与工程、商业及日常场景的问题，前沿模型平均得分仅 58.05%。结果显示模型常退化为关联式生成而非保留原场景的因果结构，且性能不随模型规模或输出长度稳定提升…