跨模态因果对皆欧洲杯体育，让机器更懂视觉笔据！

来自中山大学、新加坡南洋理工大学等团队提议跨模态因果对皆框架（CRA），通过因果骚扰和跨模态对皆，权臣莳植时空定位的准确性与可解释性。

关联论文已被 CVPR 2025 接受，代码已开源。

事情是这么的——

连年来跟着多模态大模子的发展，视频问答（VideoQA）任务——要求模子根据视频本色回答天然话语问题——性能权臣莳植。

然而，现存模子常常依赖检察数据中的统计偏差（如话语要害词与谜底的伪善关联），而非信得过的因果视觉笔据，导致回答缺少可解释性。

举个栗子～

举例下图中，当视频中出现"婴儿"和"女性"时，模子可能仅因二者高频共现而给出谜底，却忽略果然因果事件（如"女性抱起婴儿"）。

也便是说，天然完毕答对了，但过程中模子选定的是极端的视觉依据。

针对肖似情况，为提供可靠的视觉笔据复古，视频问答定位（VideoQG）任务应时而生，要求模子同期输出谜底过头对应视频片断的时期区间。

但现存步伐濒临两大挑战：

多模态偏差：视频与话语中的浑浊身分（如高频要害词、短时视觉特征）导致模子学习伪善关联；

弱监督舍弃：标注视频片断资本腾贵，现存模子依赖视频问答（VideoQA）的弱监督信号，难以精确定位。

以上便是 CRA 框架降生的布景。

此外，中山大学 HCP-Lab 团队已将要害的因果模块集成到开源因果框架 CausalVLR 中。

该框架是一个基于 PyTorch 的 python 开源用具包，用于因果相干发现，因果推理，为多样视觉话语推理任求达成开端进的因果学习算法。

三模块驱动因果推理

现存步伐常因依赖于检察数据中的统计偏差，导致模子无法准确识别与问题关联的因果视觉场景，进而产生不准确的时空定位完毕。

为克服这一问题，CRA 框架通过三个中枢模块达成了从噪声羁系、特征对皆到因果相干建模的全历程优化。

该框架在 NextGQA 和 STAR 数据集上的履行完毕标明，CRA 或者权臣莳植模子的时空定位能力和因果推理的准确性，为视频问答定位任务提供了更可靠的本领措置决策。

三个中枢模块具体张开如下：

GSG：羁系噪声，聚焦要害帧

第一个，高斯平滑定位模块（GSG）。

GSG 模块通过自适合高斯滤波去噪，精确筹划视频片断的常常停止。

它的中枢功能，是基于跨模态注视力筹划时期区间，通过自适合高斯滤波去噪，生成鲁棒的视频片断特征。

本领亮点主要有仨：

1、跨模态注视力计较：欺诈 CLIP 视频特征与 RoBERTa 话语特征的交互，生成脱手时期注视力权重；

2、自适合高斯滤波：引入可学习参数的高斯核，羁系时序上的不褂讪噪声（如无关布景帧），隆起要害事件区域（下图）；

3、动态阈值分割：根据平滑后的注视力散布，动态截取高反应区间，莳植定位精度。

消融履行显现，移除高斯滤波（GSG w/o GS）会导致 IoU@0.5 着落 2.2%（下表），清晰其对噪声羁系的要害作用。

△GSG 消融履行，其中 SGG w/o GS †暗示 GSG 在检察过程中具有高斯平滑，但在推理过程中莫得高斯平滑 CMA：弱监督下的双向对皆

第二个，交叉模态对皆模块（CMA）。

CMA 模块欺诈双向对比学习，增强视频与问答特征的对皆后果。

它的中枢功能，是通过双向对比学习，对皆视频片断特征与问答特征，增强跨模态一致性。

本领亮点有二：

双向 InfoNCE 失掉：从并吞批次中采样正 / 负样本，划分对皆视觉→话语和话语→视觉特征（公式 1-2）；

动态难样本挖掘：优先选拔语义相反大的负样本，迫使模子关心细粒度因果关联。

移除 CMA 模块后，Acc@GQA 着落 2%，IoP@0.5 着落 2.2%（下表），突显其对弱监督检察的紧迫性。

ECI：堵截伪善因果链

第三个，显式因果骚扰模块（ECI）。

ECI 模块则通过前门和后门骚扰，排斥多模态偏差，莳植因果一致性。

它的中枢功能，是针对视觉和话语模态划分贪图前门骚扰与后门骚扰，排斥多模态浑浊身分。

话语后门骚扰：明白问答语义结构图（如主谓宾相干），阻断要害词与谜底的伪善旅途；

视觉前门骚扰：以视频片断为中介变量，通过特征聚类模拟夹杂因子散布，重构因果链（公式 3-4）。

履行完毕显现，在 NextGQA 数据集上，去除了 Causal 模块后相干于 CRA 在 Acc@GQA 形成了 1.2% 的性能失掉。

履行完毕：多维度性能杰出

在 NextGQA 数据连合，CRA 以 18.2% 超越 Temp [ CLIP ] （NG+）2.2%，且在使用 FrozenBiLM 大模子时仍保合手上风。

此外，IoP@0.5 达 28.5%，权臣优于基于 LLM 伪标注的 TimeCraft（27.8%），清晰其无需寥落数据的高效性。

在 STAR 数据连合，CRA 划分以 26.8% 与 27.5% 的 Acc@GQA 分数在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下杰出 NG+。

而通过统计弱监督视频定位的散布情况，征询团队不错不雅察到 NG+ 局限于小区间的筹划，而 CRA 所筹划的区间与果然散布情况更相宜。

综上，CRA 框架通过跨模态因果对皆，初次在弱监督条目下达成了视频问答定位的高精度与可解释性。

当今，CRA 框架代码已开源。

征询团队暗示，CRA 为视频证据提供了新的因果推理范式，或将鞭策自动驾驶、智能监控等鸿沟的实在 AI 应用。

论文地址：

https://arxiv.org/abs/2503.07635

CRA-GQA 仓库：

https://github.com/WissingChen/CRA-GQA

因果框架仓库：

https://github.com/HCPLab-SYSU/CausalVLR

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本色‍

附上论文 / 容颜主页接续，以及磋商步地哦

咱们会（尽量）实时回报你

一键关心 � � 点亮星标

科技前沿推崇逐日见

一键三连「点赞」「转发」「谨防心」

宽待在指摘区留住你的念念法！欧洲杯体育