跨模态因果对皆欧洲杯体育,让机器更懂视觉笔据!
来自中山大学、新加坡南洋理工大学等团队提议跨模态因果对皆框架(CRA),通过因果骚扰和跨模态对皆,权臣莳植时空定位的准确性与可解释性。
关联论文已被 CVPR 2025 接受,代码已开源。
事情是这么的——
连年来跟着多模态大模子的发展,视频问答(VideoQA)任务——要求模子根据视频本色回答天然话语问题——性能权臣莳植。
然而,现存模子常常依赖检察数据中的统计偏差(如话语要害词与谜底的伪善关联),而非信得过的因果视觉笔据,导致回答缺少可解释性。
举个栗子~
举例下图中,当视频中出现"婴儿"和"女性"时,模子可能仅因二者高频共现而给出谜底,却忽略果然因果事件(如"女性抱起婴儿")。
也便是说,天然完毕答对了,但过程中模子选定的是极端的视觉依据。
针对肖似情况,为提供可靠的视觉笔据复古,视频问答定位(VideoQG)任务应时而生,要求模子同期输出谜底过头对应视频片断的时期区间。
但现存步伐濒临两大挑战:
多模态偏差:视频与话语中的浑浊身分(如高频要害词、短时视觉特征)导致模子学习伪善关联;
弱监督舍弃:标注视频片断资本腾贵,现存模子依赖视频问答(VideoQA)的弱监督信号,难以精确定位。
以上便是 CRA 框架降生的布景。
此外,中山大学 HCP-Lab 团队已将要害的因果模块集成到开源因果框架 CausalVLR 中。
该框架是一个基于 PyTorch 的 python 开源用具包,用于因果相干发现,因果推理,为多样视觉话语推理任求达成开端进的因果学习算法。
三模块驱动因果推理
现存步伐常因依赖于检察数据中的统计偏差,导致模子无法准确识别与问题关联的因果视觉场景,进而产生不准确的时空定位完毕。
为克服这一问题,CRA 框架通过三个中枢模块达成了从噪声羁系、特征对皆到因果相干建模的全历程优化。
该框架在 NextGQA 和 STAR 数据集上的履行完毕标明,CRA 或者权臣莳植模子的时空定位能力和因果推理的准确性,为视频问答定位任务提供了更可靠的本领措置决策。
三个中枢模块具体张开如下:
GSG:羁系噪声,聚焦要害帧
第一个,高斯平滑定位模块(GSG)。
GSG 模块通过自适合高斯滤波去噪,精确筹划视频片断的常常停止。
它的中枢功能,是基于跨模态注视力筹划时期区间,通过自适合高斯滤波去噪,生成鲁棒的视频片断特征。
本领亮点主要有仨:
1、跨模态注视力计较:欺诈 CLIP 视频特征与 RoBERTa 话语特征的交互,生成脱手时期注视力权重;
2、自适合高斯滤波:引入可学习参数的高斯核,羁系时序上的不褂讪噪声(如无关布景帧),隆起要害事件区域(下图);
3、动态阈值分割:根据平滑后的注视力散布,动态截取高反应区间,莳植定位精度。
消融履行显现,移除高斯滤波(GSG w/o GS)会导致 IoU@0.5 着落 2.2%(下表),清晰其对噪声羁系的要害作用。
△GSG 消融履行,其中 SGG w/o GS †暗示 GSG 在检察过程中具有高斯平滑,但在推理过程中莫得高斯平滑 CMA:弱监督下的双向对皆
第二个,交叉模态对皆模块(CMA)。
CMA 模块欺诈双向对比学习,增强视频与问答特征的对皆后果。
它的中枢功能,是通过双向对比学习,对皆视频片断特征与问答特征,增强跨模态一致性。
本领亮点有二:
双向 InfoNCE 失掉:从并吞批次中采样正 / 负样本,划分对皆视觉→话语和话语→视觉特征(公式 1-2);
动态难样本挖掘:优先选拔语义相反大的负样本,迫使模子关心细粒度因果关联。
移除 CMA 模块后,Acc@GQA 着落 2%,IoP@0.5 着落 2.2%(下表),突显其对弱监督检察的紧迫性。
ECI:堵截伪善因果链
第三个,显式因果骚扰模块(ECI)。
ECI 模块则通过前门和后门骚扰,排斥多模态偏差,莳植因果一致性。
它的中枢功能,是针对视觉和话语模态划分贪图前门骚扰与后门骚扰,排斥多模态浑浊身分。
话语后门骚扰:明白问答语义结构图(如主谓宾相干),阻断要害词与谜底的伪善旅途;
视觉前门骚扰:以视频片断为中介变量,通过特征聚类模拟夹杂因子散布,重构因果链(公式 3-4)。
履行完毕显现,在 NextGQA 数据集上,去除了 Causal 模块后相干于 CRA 在 Acc@GQA 形成了 1.2% 的性能失掉。
履行完毕:多维度性能杰出
在 NextGQA 数据连合,CRA 以 18.2% 超越 Temp [ CLIP ] (NG+)2.2%,且在使用 FrozenBiLM 大模子时仍保合手上风。
此外,IoP@0.5 达 28.5%,权臣优于基于 LLM 伪标注的 TimeCraft(27.8%),清晰其无需寥落数据的高效性。
在 STAR 数据连合,CRA 划分以 26.8% 与 27.5% 的 Acc@GQA 分数在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下杰出 NG+。
而通过统计弱监督视频定位的散布情况,征询团队不错不雅察到 NG+ 局限于小区间的筹划,而 CRA 所筹划的区间与果然散布情况更相宜。
综上,CRA 框架通过跨模态因果对皆,初次在弱监督条目下达成了视频问答定位的高精度与可解释性。
当今,CRA 框架代码已开源。
征询团队暗示,CRA 为视频证据提供了新的因果推理范式,或将鞭策自动驾驶、智能监控等鸿沟的实在 AI 应用。
论文地址:
https://arxiv.org/abs/2503.07635
CRA-GQA 仓库:
https://github.com/WissingChen/CRA-GQA
因果框架仓库:
https://github.com/HCPLab-SYSU/CausalVLR
— 完 —
学术投稿请于责任日发邮件到:
ai@qbitai.com
标题注明【投稿】,告诉咱们:
你是谁,从哪来,投稿本色
附上论文 / 容颜主页接续,以及磋商步地哦
咱们会(尽量)实时回报你
一键关心 � � 点亮星标
科技前沿推崇逐日见
一键三连「点赞」「转发」「谨防心」
宽待在指摘区留住你的念念法!欧洲杯体育