★ 3
CapMem：第一视角视频字幕情景记忆基准
研究提出CapMem，一个面向第一视角视频情景记忆的人类标注基准，包含75个视频共33.7小时和1000道多选题。在超过20分钟的长视频上，全覆盖字幕问答在多数模型上优于直接视频问答，字幕引导的检索验证框架进一步将准确率提升最多5.3个百分点。结果表明字幕记忆对长时第一视角视频的情景推理有效。
arXiv cs.AI46 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出CapMem，一个面向第一视角视频情景记忆的人类标注基准，包含75个视频共33.7小时和1000道多选题。在超过20分钟的长视频上，全覆盖字幕问答在多数模型上优于直接视频问答，字幕引导的检索验证框架进一步将准确率提升最多5.3个百分点。结果表明字幕记忆对长时第一视角视频的情景推理有效。
一篇 arXiv 论文利用 BabyView 语料库（48 名儿童、2441 小时纵向第一视角视频）检验「跨情境学习」这一儿童词汇习得假说。结果显示模型能学到物体—标签映射，但使用互联网预训练视觉表征时效果远高于仅从发育视频中学习表征。研究还发现学习信号主要来自少数描述可见指称物的话语，且模型训练…