★ 3
MM-FinEval：真实金融预测多任务多模态基准
论文提出 MM-FinEval，一个评估多模态大语言模型金融任务能力的基准，覆盖 2019 至 2022 年 2045 场标普 500 财报电话会议，输入含文本转录、演示幻灯片与完整音频三种模态，输出 12 类金融任务标签。对 19 个基线模型的评测显示，处理三模态的小型 Any-to-Any 模…
arXiv cs.LG32 天前
#多模态基准
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
RxnExBench 发布：评测视觉语言模型提取化学反应数据
研究者构建 RxnExBench 多模态基准，从高影响力化学期刊中整理 3,565 条专家标注反应与 2,361 个分子结构，采用 15 种反应角色、26 个核心字段的统一模式。评测 9 个先进视觉语言模型显示，随模式复杂度与推理要求上升性能显著下降，分子识别准确本身并不足够。
arXiv cs.AI7 天前
★ 2
EVLA：面向意图驱动住宅能源管理的多模态基准
该论文提出 Energy Vision-Language-Action（EVLA）基准，将住宅电池调度建模为多模态轨迹预测问题，把 RGB 能量场、数值运行状态与自然语言目标映射为 16 步电池动作序列。基准由公开住宅电力负荷数据构建，交叉三种隐藏运行机制与五种语言目标，生成约 658 万条多模态…
arXiv cs.LG34 天前
★ 2
RESCUE-BENCH：面向关系感知多方情感支持对话的基准
研究提出关系感知情感支持对话新任务，考察LLM能否捕捉并利用关系动态提供有效情感支持。团队基于真实伴侣与家庭访谈构建RESCUE基准，含191个样本、7079个标注轮次和1064.8分钟视频，定义六项任务评估关系理解与关系敏感支持两大能力。十种LLM测试显示，模型在依赖局部情感线索的任务上表现尚可…
arXiv cs.AI53 天前
这个主题的相关资产
相关术语多模态基准