设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

从“抠图”到“抠视频” Meta上新AI工具SAM 2

2024-08-02 14:51:49 来源:

21世纪经济报道记者孔海丽、实习生王甜 北京报道yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

继2023年4月首次推出SAM,实现对图像的精准分割后,Meta于北京时间7月30日推出了能够分割视频的新模型SAM 2(Segment Anything Model 2)。SAM 2将图像分割和视频分割功能整合到一个模型中。所谓“分割”,是指区别视频中的特定对象与背景,并可以追踪目标。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

SAM 2将图像分割能力泛化到了视频领域,其响应能力和准确度是一代的6倍,也是目前最优秀的视觉分割模型。Meta AI发布此版本时强调:“相信我们的数据、模型和见解将成为视频分割和相关感知任务的重要里程碑。”yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

同日,扎克伯格在与黄仁勋的对谈中,透露出更多Meta 的AI进展,包括将推出一款基于Llama3.1模型构建的名为AI Studio的新工具,允许用户创建、分享和设计个性化的AI聊天机器人,用户还可以在社交媒体平台上分享他们的人工智能角色。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

“细分一切”

SAM 2可以识别视频中的特定对象,并实时实现该对象的追踪与提取,在视频编辑与特效制作中,可以高效辅助工作。该模型也可以根据用户具体诉求,选择分割某个物体或某个区域,使控制更加精准。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

与其他模型不同的是,SAM 2拥有对不熟悉物体和图像的零样本泛化能力,无需额外训练,只需单击一帧视频中的任何物体,即可实现对目标对象的实时追踪,快速处理未来每一帧。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

除此以外,该模型还可以集成到更大的系统中,它善于从其他智能系统中获取提示,使系统之间完成协作。例如,SAM 2能够在AR/VR穿戴式设备中选择用户注视对象,也可以读取分割对象的边界框提示,完成文本提示到视频图像分割的转化。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM


yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了训练SAM 2,Meta自己建构了一个数据引擎——SA-V数据集,有效收集大量多样化的视频分割数据集并利用其去迭代模型。SA-V数据集包含5.1万个视频和64.3万个时空分割掩码(即masklet),是迄今为止最大的数据集,收集了47个国家/地区地理分布各异的真实世界场景的视频。SAM 2就在Meta开源的SA-V数据集上进行训练,为SAM 2提供的注释包括整个物体、部分物体和物体被遮挡的情况。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

SAM 2模型辅助人类标注目标对象的掩码,与此同时,SAM 2将标注的掩码传播到视频其他帧,生成时空掩码,接受提示的SAM 2受益于对象在时间维度上的记忆,生成掩码预测。如此循环往复,使SAM 2得到不断更新。业内观点认为,SAM 2为视觉数据提供更快的注释工具,有望被用来训练下一代计算机视觉系统。
yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于视频中的动态物体,SAM 2如何精准识别呢?Meta为SAM引入了一种记忆机制。对于视频,记忆组件可以存储对象的有关交互信息和之前处理过的信息,使SAM 2能够在整个视频中实现预测行为。根据其提示式设计理念,如果在其他帧上提供了相关提示,SAM 2还可以根据存储的对象记忆上下文(前后帧)有效地纠正其预测,显著减少人工标注时间。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

Meta官网提供了一个例子,目标对象被遮挡或从视野中消失。为了向模型解释这种新的模式,在SAM 2里新应用了“遮挡头”模型,用于预测当前帧中是否存在目标对象,判断物体是否可见,即使在物体暂时被遮挡时也有助于分割物体,使SAM 2能够有效地处理遮挡。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

不过,当遇到长时间遮挡或者场景中有多个相似对象等情况时,SAM 2可能会丢失对物体的跟踪或是混淆物体。但同时,以上情况可以通过人为干预提供细化提示来解决。
yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

尽管Meta自曝了SAM 2的不足,用户对该模型的未来依然寄予厚望。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在以往的视频编辑技术中,视频抠图需要一帧一帧地编辑。比如,国内明星真人秀节目数次遇到的“因某明星个人危机,需重新剪辑全部画面”问题,可能不再需要视频剪辑通宵达旦、连续加班。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

SAM 2的应用范围广泛,在许多需要实时反馈的应用场景中将发挥其作用,包括自动驾驶、医学、视频拍摄剪辑、监控等。比如,捕捉动态对象实现实时交互,提高车载计算机视觉系统的敏锐性;在辅助医学治疗中,定位腹腔镜摄像机锚定的区域;在追踪摄影中,帮助无人机镜头跟随追踪濒危动物;在机场、车站人流密度大的区域实时监控人群,预警异常情况;也为视频内容博主提供了更多视频创意创作的可能性。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

更好的开源生态

SAM 2也为新模型的出现埋下伏笔。SAM 2的分割生成结果可以输出给其他AI系统(例如现代视频生成模型),SAM 2本身也可以接受其他AI系统的输入提示,实现与目标对象的实时交互,比如,应用于直播时的AI公众形象搭建,自动驾驶路况分析等。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

为了使学术界能够在目前的基础上继续研究,Meta公开发布了预先训练的SAM 2模型、SA-V数据集、演示和代码。值得注意的是,尽管需要巨大算力支持,SAM 2仍坚持开源,并允许广大用户免费使用(在Amazon SageMaker平台上托管)。这让Meta庞大的透明开源生态又添一员。
yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

近期,扎克伯格多番强调了人工智能开源的意义,他曾撰写的长文中表示:“开源人工智能比任何其他现代技术都更具有潜力,可以提高人类的生产力、创造力和生活质量,同时还能加速经济增长并推动突破性的医学和科学研究。”yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

“当今大多数领先的科技公司和科学研究都是建立在开源软件之上的。最重要的是,开源人工智能代表了世界上利用这项技术为每个人创造最大经济机会和安全的最佳机会。”扎克伯格补充说。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在与黄仁勋的对谈中,扎克伯格也再次表达了“希望下一代计算机发展回到开放生态系统获胜的局势”。yoC流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:从“抠图”到“抠视频” Meta上新AI工具SAM 2http://www.llsum.com/show-2-7792-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 2024年的休闲对战游戏,仍是大DAU富矿?

下一篇: 北京中轴线申遗,数字技术参与深度前所未有

热门资讯

  • 最小资源消耗的量子态分辨实现

    记者3月20日从中国科学技术大学获悉,该校郭光灿院士团队在量子态分辨研究中取得重要进展:他们在最小资源消耗的量子态分辨问题中首次提出了全局最优

  • 我科学家实现最小资源消耗的量子态分辨

    记者3月20日从中国科学技术大学获悉,该校郭光灿院士团队在量子态分辨研究中取得重要进展。研究组在最小资源消耗的量子态分辨问题中首次提出了全局

  • 香港科技大学推出首批“AI讲师” 开拓创新教学新模式

    3月19日,记者从香港科技大学获悉,该校以人工智能生成式工具设计出10位“AI讲师”, 这些“AI讲师”来自世界各地,属不同民族及文化背景。该校希望通过创

  • 植物避盐性的关键基因被发现

    记者3月21日从安徽农业大学获悉,该校生命科学学院韩毅教授课题组与国内外专家合作,发现了植物避盐性的关键基因。该研究对于提高植物耐盐性,帮助盐碱

  • 世界睡眠日:别让你的良好睡眠被手机夺走

    再打一局游戏就睡,再刷几个视频就睡,终于放下手机,关灯睡觉了……结果翻来覆去睡不着,半夜醒来再也睡不着,为什么明明睡着了,睡眠质量却不高

  • “认知选择”或影响人类语言演化

    人类的语言自产生以来,就不断演化发展。发音、词汇、语法的演变过程,是语言学家较为关注的领域。语言演化的根本动力是什么,演化又呈现出怎样的规律?我

  • 饭后想吃零食或因神经元过度活跃

    那些在吃完一顿饱饭后不久就在冰箱里翻找零食的人,可能不是胃口好,而是因为寻找食物的神经元过度活跃的缘故。美国加州大学洛杉矶分校心理学家在老鼠

  • 人工纳米流体突触可实现存内计算

    瑞士洛桑联邦理工学院工程学院研究团队制造了一种用于内存的新型纳米流体设备,这使他们第一次能连接两个“人工突触”。该设备为受大脑启发的液体硬

  • 首款骁龙8 Gen3折叠屏!vivo X Fold3图赏

    3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供

  • 千元机皇 小8Gen3+1.5K直屏+5500mAh大电池 有点香啊!

    回望一加去年的整体节奏,如果要用一个词来总结其数字系列和Ace系列的概况,那就是“卷”!从外观质感、内存性能到整机体验,与友商的相互竞争中,一加表现的都

  • “地球一小时”背后:绿色低碳生产生活蔚然成风

    3月23日20时30分许,内蒙古自治区鄂尔多斯市,约200米的高楼、磐石造型博物馆、书籍外形图书馆等主要地标建筑纷纷关闭灯光,人们在静下来的城市里感受

  • “穿上就走”的通用外骨骼面世

    美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准,对复杂算法进行调整后,用户穿上外骨骼就可以直接行走

推荐资讯

  • 日榜
  • 周榜
  • 月榜