★ 2
TRIAD 基准发布:评测全模态大模型跨文本图像音频消歧
研究者提出 TRIAD,一个针对全模态歧义消解的基准,包含 327 条手写查询、86 个场景组、18 类歧义,每条为文本-图像-音频三元组。评测 14 个全模态系统发现,最佳模型在场景级消歧上仍落后人类 20 分以上,去掉选项后准确率跌至个位数,且模型常忽视音频线索。
arXiv NLP10 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 TRIAD,一个针对全模态歧义消解的基准,包含 327 条手写查询、86 个场景组、18 类歧义,每条为文本-图像-音频三元组。评测 14 个全模态系统发现,最佳模型在场景级消歧上仍落后人类 20 分以上,去掉选项后准确率跌至个位数,且模型常忽视音频线索。
论文提出对抗式意图解析框架 AIR,通过构建竞争性解释、执行 SQL 验证差异并生成澄清问题,无需任务特定训练即可处理歧义查询。在 AMBROSIA 基准上 F1 达 0.679,超过 IntentRL 的 0.618,且在缺少完整数据库时性能仅下降约 7%。