★ 2
IFC-MCQ：自动生成选择题基准评测 LLM 的 IFC 数据检索
论文提出 IFC-MCQ，可从 IFC 建筑信息文件自动生成选择题基准，实现精确的选项集评分，避免自由文本答案的高昂人工评审。分类体系覆盖 4 组 15 类 36 子类，答案键来自文件本身，干扰项由文件值或预定义规则构造。评测揭示类别特定失败模式，且性能随源 IFC 模型与检索接口变化。
arXiv NLP10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 IFC-MCQ，可从 IFC 建筑信息文件自动生成选择题基准，实现精确的选项集评分，避免自由文本答案的高昂人工评审。分类体系覆盖 4 组 15 类 36 子类，答案键来自文件本身，干扰项由文件值或预定义规则构造。评测揭示类别特定失败模式，且性能随源 IFC 模型与检索接口变化。