★ 3
ORCA：数据科学代码翻译评测基准
论文提出 ORCA 基准，评估 LLM 在数据科学库之间转换代码（DSCT）的能力，包含 1600 个基础任务与 200 个项目级任务。结果显示即便是前沿模型表现也有限，Claude-Opus-4.6 在 ORCA-MAIN 成功率 56.92%、ORCA-PROJECT 仅 33.67%。作者提…
arXiv cs.AI35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 ORCA 基准，评估 LLM 在数据科学库之间转换代码（DSCT）的能力，包含 1600 个基础任务与 200 个项目级任务。结果显示即便是前沿模型表现也有限，Claude-Opus-4.6 在 ORCA-MAIN 成功率 56.92%、ORCA-PROJECT 仅 33.67%。作者提…