欧洲杯体育进而产生不准确的时空定位完毕-开云「中国」Kaiyun·官方网站-登录入口

发布日期:2025-03-25 02:06    点击次数:71

欧洲杯体育进而产生不准确的时空定位完毕-开云「中国」Kaiyun·官方网站-登录入口

跨模态因果对皆欧洲杯体育,让机器更懂视觉笔据!

来自中山大学、新加坡南洋理工大学等团队提议跨模态因果对皆框架(CRA),通过因果骚扰和跨模态对皆,权臣莳植时空定位的准确性与可解释性。

关联论文已被 CVPR 2025 接受,代码已开源。

事情是这么的——

连年来跟着多模态大模子的发展,视频问答(VideoQA)任务——要求模子根据视频本色回答天然话语问题——性能权臣莳植。

然而,现存模子常常依赖检察数据中的统计偏差(如话语要害词与谜底的伪善关联),而非信得过的因果视觉笔据,导致回答缺少可解释性。

举个栗子~

举例下图中,当视频中出现"婴儿"和"女性"时,模子可能仅因二者高频共现而给出谜底,却忽略果然因果事件(如"女性抱起婴儿")。

也便是说,天然完毕答对了,但过程中模子选定的是极端的视觉依据。

针对肖似情况,为提供可靠的视觉笔据复古,视频问答定位(VideoQG)任务应时而生,要求模子同期输出谜底过头对应视频片断的时期区间。

但现存步伐濒临两大挑战:

多模态偏差:视频与话语中的浑浊身分(如高频要害词、短时视觉特征)导致模子学习伪善关联;

弱监督舍弃:标注视频片断资本腾贵,现存模子依赖视频问答(VideoQA)的弱监督信号,难以精确定位。

以上便是 CRA 框架降生的布景。

此外,中山大学 HCP-Lab 团队已将要害的因果模块集成到开源因果框架 CausalVLR 中。

该框架是一个基于 PyTorch 的 python 开源用具包,用于因果相干发现,因果推理,为多样视觉话语推理任求达成开端进的因果学习算法。

三模块驱动因果推理

现存步伐常因依赖于检察数据中的统计偏差,导致模子无法准确识别与问题关联的因果视觉场景,进而产生不准确的时空定位完毕。

为克服这一问题,CRA 框架通过三个中枢模块达成了从噪声羁系、特征对皆到因果相干建模的全历程优化。

该框架在 NextGQA 和 STAR 数据集上的履行完毕标明,CRA 或者权臣莳植模子的时空定位能力和因果推理的准确性,为视频问答定位任务提供了更可靠的本领措置决策。

三个中枢模块具体张开如下:

GSG:羁系噪声,聚焦要害帧

第一个,高斯平滑定位模块(GSG)。

GSG 模块通过自适合高斯滤波去噪,精确筹划视频片断的常常停止。

它的中枢功能,是基于跨模态注视力筹划时期区间,通过自适合高斯滤波去噪,生成鲁棒的视频片断特征。

本领亮点主要有仨:

1、跨模态注视力计较:欺诈 CLIP 视频特征与 RoBERTa 话语特征的交互,生成脱手时期注视力权重;

2、自适合高斯滤波:引入可学习参数的高斯核,羁系时序上的不褂讪噪声(如无关布景帧),隆起要害事件区域(下图);

3、动态阈值分割:根据平滑后的注视力散布,动态截取高反应区间,莳植定位精度。

消融履行显现,移除高斯滤波(GSG w/o GS)会导致 IoU@0.5 着落 2.2%(下表),清晰其对噪声羁系的要害作用。

△GSG 消融履行,其中 SGG w/o GS †暗示 GSG 在检察过程中具有高斯平滑,但在推理过程中莫得高斯平滑 CMA:弱监督下的双向对皆

第二个,交叉模态对皆模块(CMA)。

CMA 模块欺诈双向对比学习,增强视频与问答特征的对皆后果。

它的中枢功能,是通过双向对比学习,对皆视频片断特征与问答特征,增强跨模态一致性。

本领亮点有二:

双向 InfoNCE 失掉:从并吞批次中采样正 / 负样本,划分对皆视觉→话语和话语→视觉特征(公式 1-2);

动态难样本挖掘:优先选拔语义相反大的负样本,迫使模子关心细粒度因果关联。

移除 CMA 模块后,Acc@GQA 着落 2%,IoP@0.5 着落 2.2%(下表),突显其对弱监督检察的紧迫性。

ECI:堵截伪善因果链

第三个,显式因果骚扰模块(ECI)。

ECI 模块则通过前门和后门骚扰,排斥多模态偏差,莳植因果一致性。

它的中枢功能,是针对视觉和话语模态划分贪图前门骚扰与后门骚扰,排斥多模态浑浊身分。

话语后门骚扰:明白问答语义结构图(如主谓宾相干),阻断要害词与谜底的伪善旅途;

视觉前门骚扰:以视频片断为中介变量,通过特征聚类模拟夹杂因子散布,重构因果链(公式 3-4)。

履行完毕显现,在 NextGQA 数据集上,去除了 Causal 模块后相干于 CRA 在 Acc@GQA 形成了 1.2% 的性能失掉。

履行完毕:多维度性能杰出

在 NextGQA 数据连合,CRA 以 18.2% 超越 Temp [ CLIP ] (NG+)2.2%,且在使用 FrozenBiLM 大模子时仍保合手上风。

此外,IoP@0.5 达 28.5%,权臣优于基于 LLM 伪标注的 TimeCraft(27.8%),清晰其无需寥落数据的高效性。

在 STAR 数据连合,CRA 划分以 26.8% 与 27.5% 的 Acc@GQA 分数在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下杰出 NG+。

而通过统计弱监督视频定位的散布情况,征询团队不错不雅察到 NG+ 局限于小区间的筹划,而 CRA 所筹划的区间与果然散布情况更相宜。

综上,CRA 框架通过跨模态因果对皆,初次在弱监督条目下达成了视频问答定位的高精度与可解释性。

当今,CRA 框架代码已开源。

征询团队暗示,CRA 为视频证据提供了新的因果推理范式,或将鞭策自动驾驶、智能监控等鸿沟的实在 AI 应用。

论文地址:

https://arxiv.org/abs/2503.07635

CRA-GQA 仓库:

https://github.com/WissingChen/CRA-GQA

因果框架仓库:

https://github.com/HCPLab-SYSU/CausalVLR

—  完  —

学术投稿请于责任日发邮件到:

ai@qbitai.com

标题注明【投稿】,告诉咱们:

你是谁,从哪来,投稿本色‍

附上论文 / 容颜主页接续,以及磋商步地哦

咱们会(尽量)实时回报你

一键关心 � � 点亮星标

科技前沿推崇逐日见

一键三连「点赞」「转发」「谨防心」

宽待在指摘区留住你的念念法!欧洲杯体育