分类:多模态

155 条
InfoQ AI·2 天前★ 4

谷歌发布 EmbeddingGemma 2,五模态统一向量空间

AI 摘要谷歌推出 EmbeddingGemma 2 嵌入模型,可将文本、图像等五种模态映射到同一个向量空间,实现跨模态检索与对齐。该模型延续 Gemma 开源系列,面向多模态嵌入与检索增强场景。

#多模态
快公司·2 天前★ 3

Canva 发布设计专用视觉语言模型 Brush

AI 摘要Canva 推出首个面向设计的视觉语言模型 Brush,模拟人类分步设计流程,而非一次性生成整张图。Brush 支持局部精准编辑、避免改动扩散,输出结果可完全编辑,官方称比上一代设计智能体快 69%、单次编辑成本低 46%。此前一周 Canva 刚发布图像生成模型 Craft。

#多模态
arXiv cs.AI·2 天前

研究:印度菜视觉表征如何影响食物相似度检索

AI 摘要论文以印度菜为场景,用扩展 Khana 数据集与七种预训练视觉表征(卷积、Transformer、自监督、图文对齐)评估图像检索与菜品邻域结构。结果显示图像级邻域随表征差异显著,菜品级聚合呈现共同视觉结构但与菜谱相似度对应较弱,说明食物相似度取决于表征、模态与抽象层级。

#多模态
Hacker News – AI·4 天前

《卫报》评马斯克 AI 电影《奥德赛》:Grok 生成影片遭批

AI 摘要《卫报》刊发影评,讨论埃隆·马斯克使用 Grok 制作的 AI 电影《奥德赛》。评论聚焦 AI 生成影像在叙事与视觉上的局限,并提及与克里斯托弗·诺兰作品的关联。该片成为 AI 影视生成能力争议的又一案例。

#多模态
arXiv cs.AI·4 天前★ 3

StruPO:用场景图结构反馈训练文生图提示词编辑器

AI 摘要论文提出 StruPO,用校准后的场景图作为策略条件与图像监督的共享表示,把结构反馈转为可复用编辑策略的训练信号。方法通过平滑奖励塑形保留 grounding 置信度,并对每次编辑的多张图像取平均计算组相对优势。在三个 2K 提示词测试集与四个冻结生成骨干上,关系保真度与美学权衡均获提升,并有 15 人标注研究佐证。

#多模态
arXiv cs.AI·4 天前★ 3

RouteDRAG:学习路由与控制多模态文档 RAG 智能体执行

AI 摘要论文提出 RouteDRAG,通过统一文档索引、自适应路径路由、动态智能体执行与序列策略学习,判断何时需要智能体式检索、何时走更短路径。在两个基准上平均准确率提升 3.47 个百分点,仅将 79.3% 查询交给智能体执行,且调用次数更少。

#多模态
arXiv cs.AI·4 天前

研究:红心等视觉符号可隐式影响 VLM 行为

AI 摘要论文发现红心等简单视觉符号能显著影响视觉语言模型在无关任务上的表现,例如引导其在简单编程题上走向递归解法,且模型对符号的显式解读与实际行为明显背离。在模型间视觉通信实验中,模型倾向发送直觉化的形状原语却难以影响对方,揭示生成与解读之间的鸿沟。

#多模态
arXiv NLP·4 天前★ 3

DocSkill:面向多语言多跳文档问答的技能编排智能体框架

AI 摘要论文提出 DocSkill 智能体框架,用学习到的技能编排策略自适应选择、重访或跳过技能,并以有界蒙特卡洛树搜索离线生成监督数据用于 SFT 与 DPO。团队同时发布含 10 种语言、6 万问答对的 MMHop-DocBench 数据集。基于 Qwen3-VL-8B 的 DocSkill 在该基准上达 41.0 准确率与 49.2 F1,领先最强基线 5.5 与 6.3 分。

#多模态
arXiv NLP·4 天前

首个巴斯克语开源语音语言模型发布

AI 摘要研究团队基于 LLaMA-Omni 架构与 Latxa 骨干模型,构建首个面向低延迟端到端语音交互的巴斯克语开源语音语言模型。为缓解数据稀缺,将英文 VoiceAssistant-400K 语料翻译为巴斯克语并用本地 TTS 合成音频,评测内容质量 3.86/5、词错误率 9.94%、UTMOS 3.07。

#多模态
Producthunt AI·5 天前

Voxel51 推出多模态数据工具

AI 摘要Voxel51 发布面向多模态数据的新工具/能力,以讨论帖形式公开。其 FiftyOne 平台常用于计算机视觉数据集管理,此次更新指向多模态数据处理场景。

#多模态
TechCrunch AI·5 天前★ 4

谷歌 DeepMind 发布 Genie 4 世界模型,新增音频与实时操控

AI 摘要谷歌 DeepMind 发布世界模型 Genie 4,新增实时音频、更逼真的模拟环境,并支持在模拟过程中用文本提示实时操控。该模型以研究预览形式向受信任测试者开放,进一步推进可交互世界模型的能力边界。

#多模态
arXiv NLP·5 天前

arXiv 论文发布实体级 OCR 评测基准,Qwen 3.6 实体覆盖率最高

AI 摘要研究基于 Berrutti 档案馆 175 份文档、5209 条人工标注实体,比较序列识别 OCR、OCR 专用视觉语言模型与通用视觉语言模型。结果显示 OCR 排名取决于评测标准:Qwen 3.6 在各容错阈值下实体覆盖率最高,而部分精确匹配较差的系统在小错误容忍下大幅回升,说明字符错误率不足以刻画 OCR 质量。

#多模态
arXiv NLP·5 天前★ 3

arXiv 发布 StyleInstructCaps:可控说话风格描述基准

AI 摘要研究将说话风格描述(SSC)形式化为指令遵循的音频语言任务,推出首个可控说话风格描述标准化基准 StyleInstructCaps,含数据集与评估框架,衡量元数据依据性、幻觉、指令遵循、泛化与说话人风格一致性。对 9 个音频语言模型的测试显示,强指令遵循能力并不必然带来有依据的风格理解。

#多模态
Hacker News – AI·6 天前

10 个 AI 模型设计网站,4500 人投票排名

AI 摘要HumanSignal 推出 Taste Index,让 10 个 AI 模型各自设计网站,再由 4500 名人类投票排名,用于比较不同模型在前端设计与审美上的表现。该项目以众包投票方式评估模型生成网页的实用性与观感。

#多模态
arXiv cs.AI·6 天前★ 3

Ψ-0.6 发布:统一视觉语言世界模型支持自适应思维流

AI 摘要论文提出 Ψ-0.6,一个统一视觉语言世界模型,可在共享的「思维流」推理过程中自适应组合感知、语言、几何与仿真,并以图像、文本及几何运动表示交错生成。该模型在多视角空间推理上零样本超越领先开源权重模型,并支持反事实仿真,通过任务反馈强化学习联合优化中间表示的选择与使用。

#多模态
多模态 AI 最新进展(155 条) - 智讯 AI News