★ 3
MedBenchAgent：医疗 VLM 基准构建的系统化自动化
论文提出 MedBenchAgent 多智能体框架，将医疗视觉语言模型基准构建形式化为约束编译，通过基准中间表示（BIR）编码任务定义、证据映射与评估协议。该方法在任务空间 F1 上达 90.9%，1000 条抽样中 994 条通过人工审核，并评测了十二个 VLM。
arXiv cs.AI24 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 MedBenchAgent 多智能体框架，将医疗视觉语言模型基准构建形式化为约束编译，通过基准中间表示（BIR）编码任务定义、证据映射与评估协议。该方法在任务空间 F1 上达 90.9%，1000 条抽样中 994 条通过人工审核，并评测了十二个 VLM。
ToolGate是一个验收流程，用于筛选需要专业软件计算答案的科学问题。通过脚本验证、无工具筛选和工具代理求解三道门槛，确保基准项的有效性和难度。