设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

CVPR‘24:与任务无关的多模态数据也能提升Transformer性能|港中文&腾讯

2024-05-06 12:46:02 来源: 量子位

跨模态增益挖掘Transformer潜力owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Yiyuan 投稿owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
量子位 | 公众号 QbitAIowR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

万万没想到,与任务无直接关联的多模态数据也能提升Transformer模型性能owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

比如训练一个图像分类模型,除了标注好类别的图像数据集,增加视频、音频、点云等模态数据,也能显著提升模型在图像分类上的性能。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这样一来,在AI训练阶段就可以减少与特定任务直接相关的标注数据需求,可以节省大量成本,或在数据有限的任务上提供新解决思路。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个神奇的发现来自港中文MMLab和腾讯AI Lab的合作研究,相关论文已被CVPR 2024接收,引起广泛关注。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

从无关数据中学习有用知识

具体来说,团队提出了一种称为多模态通路(Multimodal Pathway)的新框架。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

该框架允许Transformer模型在处理特定模态的数据时,同时利用其他模态中的无关数据进行训练,从而在不增加额外推理成本的前提下显著提升模型性能。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

多模态通路的核心技术是跨模态重参数化 (Cross-Modal Re-parameterization)*。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这一技术的创新之处在于,它通过结构上的智能重组,使得模型能够在保持原有计算成本的同时,增加从其他模态学习的能力。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于已经被广泛运用到多模态特征提取的Vision Transformer,团队关心的是这些神经网络中的主要线性层。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

具体来说,这一技术在模型的每一个线性层中引入了辅助模态的权重,这些权重通过可学习的参数进行调节,从而在不增加推理时间的情况下,实现模态间的知识迁移。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

如图所示,比如有不同模态的两个线性层FC和FC’, 那么跨模态结构重参数化就是要通过构建一个运算完全等价的线性层来承载两个模态的运算,在这里直接将来自不同模态的两部分权重 (W和W’)做线性组合(W+λW’)来平衡两个模态的权重对于目标模态的贡献。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

实验结果:跨模态增益挖掘Transformer潜力

在论文中,研究团队详细介绍了他们的实验设计和结果。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在图像识别、点云处理、视频理解和音频分析等多个任务上应用了多模态通路技术,观察到多模态通路能够在12种不同的模态相互帮助的关系中实现一致的性能提升owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

例如,在ImageNet图像识别任务中,结合了点云数据的多模态通路Transformer模型,比传统的Transformer模型在识别准确率上提高了0.7%。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

与MAE预训练方法的各种改进相比,该方法无需高昂的计算成本来预训练1600 Epoch,而是直接在下游任务中微调,就能显著地提升模型性能。这充分展示了多模态学习在处理大规模复杂数据集时的强大潜力。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

研究人员还发现,跨模态知识迁移的效果不仅与模型参数规模有关,还可能与层次表示(Hierarchical Representation)能力密切相关。也就是越擅长学习层次化的抽象表示的模型,迁移效果就越好。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

更值得注意的是,该方法有效地证明了即使毫不相关的多模态数据之间,仍能存在着明显的多模态增益效果,这充分说明我们现在对多模态学习的理解与认知还有很大的提升空间。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

图片owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

总的来说,这项研究不仅能够启发多模态学习在学术领域的发展,也为工业界提供了新的思路。通过利用现有的海量数据资源,即使这些数据与当前任务不直接相关,也能够为AI模型的训练带来积极的影响。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这种方法为数据资源有限或难以标注的领域提供了新的解决方案,特别是在自动驾驶、医疗影像分析、自然语言处理等技术要求极高的领域,多模态通路技术的应用前景广阔。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

此外,这一研究还揭示了AI跨模态学习的新机制,推动了学界对于不同数据模态间交互和协同处理的深入理解。研究团队表示,未来他们将探索将多模态通路技术应用于卷积神经网络(CNN)和其他跨架构的AI系统,以进一步挖掘这一技术的潜力。owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

论文地址:https://arxiv.org/abs/2401.14405owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
项目网页:https://ailab-cvc.github.io/M2PT/owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
开源代码:https://github.com/AILab-CVC/M2PTowR流量资讯——探索最新科技、每天知道多一点LLSUM.COM
讲解视频:https://www.bilibili.com/video/BV1Sm41127eW/owR流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:CVPR‘24:与任务无关的多模态数据也能提升Transformer性能|港中文&腾讯http://www.llsum.com/show-2-5642-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: AI人才争夺战,华尔街入局:豪掷百万美元年薪抢人

下一篇: AI教母李飞飞首次创业!成立“空间智能”公司,已完成种子轮

热门资讯

  • 迄今最大三维宇宙地图发布

    国际天文学家团队绘制了迄今最大的三维宇宙地图,记录了大约130万个活跃类星体在空间和时间上的位置。它将成为探测类星体、暗物质晕和超大质量黑洞

  • 培育一批专利产业化样板企业

    近日,国家知识产权局等五部门联合印发了《专利产业化促进中小企业成长计划实施方案》(以下简称《实施方案》)。《实施方案》提出,到2025年底,中小企业知

  • Sora将如何影响科学与社会

    英国《自然》周刊网站3月12日刊登题为《OpenAI的文生视频工具Sora会如何改变科学——以及社会》的文章,作者为乔纳森·奥卡拉汉,内

  • 省电“神器”是“黑科技”还是智商税?

    3月15日,我国一些地区停止居民集中供热。初春时节,乍暖还寒。停暖初期昼夜温差较大,老人、儿童等身体较弱者,可能需要使用电暖气、电热毯等取暖设备,这

  • 新研究揭示 光合作用进化“缺失的一环”

    一个国际团队近日在英国《自然》杂志上发表论文说,他们利用湖水样本培养出一种奇特的光合细菌,它属于绿弯菌门一种此前未知的目,代表了光合作用生物进

  • 探索土卫二的蛇形机器人问世

    美国加州理工学院喷气推进实验室的一个机器人专家团队,与卡内基梅隆大学机器人研究所科学家合作,开发出一种蛇形机器人,用于调查土星第六大卫星土卫二

  • iPhone可能在国内设备使用百度AI技术:集成于iOS 18

    有消息称,iPhone在中国寻找本土生成式AI提供方,iPhone讨论了在中国的设备中使用百度的人工智能技术。据《华尔街日报》报道,iPhone与百度进行了谈判,以授权

  • 首款骁龙8 Gen3折叠屏!vivo X Fold3图赏

    3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供

  • 全球变暖跟哪些因素有关?IPCC是什么?一文了解

    今天(23日)是第64个世界气象日,今年世界气象日的主题是“气候行动最前线”。地球是人类赖以生存和发展的家园,气候变化给人类造成的影响广泛而深远,关乎

  • “地球一小时”背后:绿色低碳生产生活蔚然成风

    3月23日20时30分许,内蒙古自治区鄂尔多斯市,约200米的高楼、磐石造型博物馆、书籍外形图书馆等主要地标建筑纷纷关闭灯光,人们在静下来的城市里感受

  • 北京市青少年科学教育基地揭牌

    为构建有效联动、密切配合的青少年科学教育协同机制,提升科学教育实施效能,3月23日,北京市关心下一代工作委员会(以下简称“北京市关工委”)、北京市科

  • 甘蓝育种大突破:“一步法”快速创制不育系

    3月24日,记者从中国农业科学院获悉,该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队,开发了快速创制细胞质雄性不育系的新方法——“一步法

推荐资讯

  • 日榜
  • 周榜
  • 月榜