设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

2024-05-06 12:46:30 来源: 量子位

不做大而全,专注垂直场景Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

编辑部 整理自 AIGC峰会Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

量子位 | 公众号 QbitAIAjv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

全球AIGC应用浪潮下,怎样将大模型产品以一种更贴近消费者的形式融入生产力工具?Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这,或许是AI在生产力场景延伸过程中,入场玩家们所要思考的一个重要问题。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

中国AIGC产业峰会上,美图公司创始人、董事长兼CEO吴欣鸿从美图视频大模型的探索之路出发,讲述了美图在图像、视频和设计领域深耕16年而获得的经验与感悟以及对未来的预判。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

为了完整体现吴欣鸿的思考,在不改变原意的基础上,量子位对演讲内容进行了编辑整理,希望能给你带来更多启发。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

中国AIGC产业峰会是由量子位主办的行业峰会,20位产业代表与会讨论。线下参会观众近千人,线上直播观众300万,获得了主流媒体的广泛关注与报道。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

话题要点

  • AI加持,只用半天,就能做出时长60秒的惊艳短片
  • 面对越来越激烈的竞争,创意超越现实、工作流的整合、垂直场景能力这三点非常关键
  • 垂直模型的创新,有两年左右的窗口期
  • 美图不做大而全的模型和场景,更关注垂直的图像和视频模型及场景

以下为吴欣鸿演讲全文:Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图视频大模型的探索之路

一眨眼,美图已成立16年。最早,我们做影像工具,像美图秀秀。此外很长一段时间,美图也探索了不同业务,踩了很多坑。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

从2021年开始,我们基于订阅的商业模式,取得了非常好的经营状态,并重新聚焦于影像和设计产品。现在,我们已经从过去的工具自卑转变成越来越有信心。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我们正逐步往生产力场景延伸,从最初的拍摄、修图、修视频、社交分享到现在新增的视觉创作、专业摄影、专业视频编辑、商业设计等等。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图现在拥有了影像与设计产品全家桶。产品主要分为AI图像、视频和设计三个大类。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

同时,在生态层,美图今年初收购了站酷,为我们提供了优秀的设计师共创、商用版权销售和专业课程设计等服务。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

模型层,去年6月发布的美图奇想大模型为我们以上产品提供了强大的模型能力支撑。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

前两天,我们使用美图生产力全家桶制作了一部短片。我想邀请大家观看这个一分钟的短片。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

谢谢大家观看。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我想重点介绍这个60秒的短片是怎么制作出来的。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

其实只用半天时间,就能做出同样惊艳的效果。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

前期制作中,我们使用了开拍AI脚本以及美图WHEE进行风格和角色的一次性约束,确保短片中人物形象和画面风格的一致性。同时,我们还使用WHEE的文生图进行了关键的分镜设计。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

中期制作阶段,同样是美图WHEE,我们将这些分镜制作成视频化,相当于图生视频。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

同时,我们还使用美图开拍的AI数字人进行了输入对话、唇形同步。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

后期制作环节,我们使用了美图的Wink进行视频编辑,并制作了自动字幕和添加音效。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

所有这些产品都是由美图奇想大模型驱动的,与AI紧密相关。这展示了AI原生工作流的有益探索,与传统动画工作流相比,效率得到了很大提升,且门槛大幅降低。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

朝着Diffusion Transformer架构进化

去年12月,我们发布了MiracleVision 4.0版本,其中重点是AI视频和AI设计能力。刚才的视频就是使用去年12月的视频大模型生成的。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

不过,这和最近我们正在训练的美图视频大模型2.0在能力上还有很大区别,我简要介绍一下进化的方向。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

最早,我们采用了U-Net结构,在编码部分也只能进行空间域压缩。Sora发布后,我们发现在架构上有很多可以参考学习的地方,因此我们升级了视频大模型的架构,采用了Transformer结构,另外还实现了时空域同步压缩。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

美图视频大模型目前正在从1.0向2.0的跨越,实现全方位的技术升级,模型参数量显著增大,同时将拥有更加强大的语义理解能力,大幅提升视频生成时长、稳定性与内容一致性。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

上述的视频大模型2.0将于今年6月美图影像节正式亮相。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

垂直模型创新有两年左右窗口期

我们对未来也有一些预判。现在大家都在追赶Sora,预计今年下半年将会有很多国产Sora扎堆上市。美图的MiracleVision也是其中一家。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我们认为,面对越来越激烈的竞争,有三个点非常关键。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

第一,创意超越现实Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

众所周知,Sora拥有许多充满创意、奇思妙想的画面,这是实拍很难做到的。同时,如果将这些画面采用传统的视频特效方式制作,成本将非常高昂。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我们认为,视频大模型应与实拍相辅相成,生成一些超越现实的创意画面,成为一种全新的特效制作方式。以前的特效,比如前期做绿幕、后期要做动捕等等,时间长、成本高,而现在AI特效可以做到低成本、低门槛。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

第二,工作流的整合Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

如果只是单纯拼生成能力,比如文生视频,其实它的应用场景是相对有限的。我们正将美图现有的生产力工具能力进行整合,无论是AI能力还是传统视频技术相结合,形成类似刚才60秒短片的动画制作工作流。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

第三,垂直场景的能力Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我们也在探索视频大模型未来能否在电商、广告、游戏、动漫、影视等场景进行深度应用和变现。因此,垂直场景的可用性同样是竞争的关键。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

基于垂直创新模型的创新,我们认为有两年左右的窗口期。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在这里,我们对自己业务的要求是,不去做大而全的模型和场景,更关注垂直的图像和视频模型,以及电商、广告等垂直场景。同时,我们也将不断探索AI原生工作流,我们认为它是一种更能降本增效的实现方式。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

刚才提到,文生视频将是视频大模型的标配,同时还有更多的视频生成方式,如图生视频、视频生视频、音频生视频等。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

我们可以看到,无论是哪种视频生成方式,都将有广阔的应用场景。例如,图生视频,因为美图是从图片工具发展起来的,我们每天会产生两亿多张图片,如何让图片动起来?例如,美颜相机的AI写真就在探索AI视频写真,我认为这是一种更贴近消费者的形式。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

视频生视频,我们可以理解为一种全新的视频渲染方式,视频风格化方式。音频生视频,我们现在在探索MV的生成,同样也是一个有趣的领域。同时,开拍的AI主播也可以用音频生成,我们录一段音就可以生成AI主播完整的口播视频。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

在这块,我们也对未来进行了预判。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会

去年,当然是视频大模型的早期阶段,我们去年12月发布的模型,基本上只能生成3-5秒的视频片段,世界、动作一致性和稳定性都较差。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

今年2月,Sora的横空出世,我们看到确实有些对物理世界的理解,包括在创意、特效上有一定涌现的现象,视频的时长也显著提升。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

我们也期待在明年,甚至更远的未来,视频大模型能够实现更深度的物理理解,拥有剧情设计、分镜、转场等更专业的能力,能够与视频制作工作流紧密结合。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

也希望大家关注6月的美图影像节。除了全新的视频大模型,我们还将有一系列生产力工具全家桶陆续亮相。Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

今天我就分享到这,谢谢大家!Ajv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:美图吴欣鸿:国产Sora竞争关键,在创意、工作流和垂直场景 | 中国AIGC产业峰会http://www.llsum.com/show-2-5646-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 一次预测多个token,Meta新模型推理加速3倍,编程任务提高17%

下一篇: 奥特曼承认了神秘gpt2!哈佛MIT巡演继续,斯坦福演讲完整版公开

热门资讯

  • 我国成功研制可靶向送药的磁驱软体机器人

    中国科学院深圳先进技术研究院15日发布消息称,该院科研团队研发了一种具有靶向送药功能的磁驱软体机器人,该机器人能够根据器官内部环境的特点选择合

  • 马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

      马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI  《科创板日报》3月18日讯(编辑 宋子乔) 似乎是为了表明自己始终坚持对AI模型开源,马斯克做出了与阿尔特曼全然

  • 专家:警惕常见睡眠认知误区

    3月21日是世界睡眠日,中国主题为“健康睡眠 人人共享”。近日发布的《2023年中国居民睡眠白皮书》显示,我国居民平均睡眠时长6.75小时,平均在零点后入

  • 来看金星土星“亲密一刻”

    3月22日黎明,太阳系中最明亮的行星金星与太阳系中拥有最多卫星的行星土星将在东南方低空近距离相伴,上演“结伴游”。北京星空摄影爱好者王俊峰2023

  • 雌蛙会向雄蛙“暗送秋波”?这项研究给出了答案

    记者3月21日从安徽师范大学获悉,该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段,证实他们前期提出的,眨眼

  • 植物避盐性的关键基因被发现

    记者3月21日从安徽农业大学获悉,该校生命科学学院韩毅教授课题组与国内外专家合作,发现了植物避盐性的关键基因。该研究对于提高植物耐盐性,帮助盐碱

  • 银鲳高质量染色体水平 参考基因组发布

    3月19日,记者从中国科学院海洋研究所了解到,该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然

  • 小龙虾能将锂离子转入食物链

    从手机到手表再到电动汽车,锂离子充电电池为众多设备提供动力。但随着消费者丢弃电子产品的增加,越来越多的锂可能会进入环境。研究人员在美国化学会

  • 千元机皇 小8Gen3+1.5K直屏+5500mAh大电池 有点香啊!

    回望一加去年的整体节奏,如果要用一个词来总结其数字系列和Ace系列的概况,那就是“卷”!从外观质感、内存性能到整机体验,与友商的相互竞争中,一加表现的都

  • 站在“气候行动最前线”,我们该如何行动?

    联合国政府间气候变化专门委员会(IPCC)最新发布的评估报告显示,全球温升预计在2021年至2040年内达到1.5℃。报告指出,自IPCC第五次评估报告发布以来,全

  • 中国气象局发布大地磁暴预警,可能会看到极光

    记者从中国气象局了解到,3月24日、25日和26日三天,将可能出现地磁活动,其中3月25日可能发生中等以上地磁暴甚至大地磁暴,预计地磁活动将持续到26日。在

  • “穿上就走”的通用外骨骼面世

    美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准,对复杂算法进行调整后,用户穿上外骨骼就可以直接行走

推荐资讯

  • 日榜
  • 周榜
  • 月榜