★ 2
IBBench-Light：外部指令任务条件响应配对评估
IBBench-Light针对同一外部记录的执行与阅读两种用途进行配对测试，12个语义基产生每模型144对匹配样本。配对精确契约准确率（PECA）要求两个成员均满足输出契约，Qwen在132个执行和109个处理提示上成功但仅97对完整。研究还发现改变EOS集合会使Phi的配对成功从0/144变为6…
arXiv cs.AI48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
IBBench-Light针对同一外部记录的执行与阅读两种用途进行配对测试，12个语义基产生每模型144对匹配样本。配对精确契约准确率（PECA）要求两个成员均满足输出契约，Qwen在132个执行和109个处理提示上成功但仅97对完整。研究还发现改变EOS集合会使Phi的配对成功从0/144变为6…