设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

揭秘Sora:开发团队成立不到1年,核心成员含多位华人

2024-02-21 09:11:45 来源:

  揭秘Sora:开发团队成立不到1年,核心成员包含多位华人OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

每经记者 文巧 OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  2月16日,OpenAI的AI视频模型Sora炸裂出道,生成的视频无论是清晰度、连贯性和时间上都令人惊叹,一时间,诸如“现实不存在了”的评论在全网刷屏。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Sora是如何实现如此颠覆性的能力的呢?这就不得不提到其背后的两项核心技术突破――Spacetime Patch(时空Patch)技术和Diffusion Transformer(DiT,或扩散型 Transformer)架构。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  《每日经济新闻》记者查询这两项技术的原作论文发现,时空Patch的技术论文实际上是由谷歌DeepMind的科学家们于2023年7月发表的。DiT架构技术论文的一作则是Sora团队领导者之一William Peebles,但戏剧性的是,这篇论文曾在2023年的计算机视觉会议上因“缺少创新性”而遭到拒绝,仅仅1年之后,就成为Sora的核心理论之一。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  如今,Sora团队毫无疑问已经成为世界上最受关注的技术团队之一。记者查询OpenAI官网发现,Sora团队由Peebles等3人领导,核心成员包括12人,其中有多位华人。值得注意的是,这支团队十分年轻,成立时间尚未超过1年。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  创新“站在谷歌肩上”OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   此前,OpenAI在X平台上展示了Sora将静态图像转换为动态视频的几个案例,其逼真程度令人惊叹。Sora是如何做到这一点的呢?这就不得不提到该AI视频模型背后的两项核心技术――DiT架构和Spacetime Patch(时空Patch)。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  据外媒报道,Spacetime Patch是Sora创新的核心之一,该 项 技 术 是 建 立 在 谷 歌DeepMind对NaViT(原生分辨率视觉Transformer)和ViT(视觉Transformer)的早期研究基础上。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Patch可以理解为Sora的基本单元,就像GPT-4 的基本单元是Token。Token是文字的片段,Patch则是视频的片段。GPT-4被训练以处理一串Token,并预测出下一个Token。Sora遵循相同的逻辑,可以处理一系列的Patch,并预测出序列中的下一个Patch。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Sora之所以能实现突破,在于其通过Spacetime Patch将视频视为补丁序列,Sora保持了原始的宽高比和分辨率,类似于NaViT对图像的处理。这对于捕捉视觉数据的真正本质至关重要,使模型能够从更准确的表达中学习,从而赋予Sora近乎完美的准确性。由此,Sora能够有效地处理各种视觉数据,而无需调整大小或填充等预处理步骤。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  记者注意到,OpenAI发布的Sora技术报告中透露了Sora的主要理论基础,其中Patch的技术论文名为Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution。记者查询预印本网站arxiv后发现,该篇论文是由谷歌DeepMind的科学家们于2023年7月发表的。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  相关论文曾遭拒绝OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   除此之外,Sora的另一个重大突破是其所使用的架构,传统的文本到视频模型(如Runway、Stable Diffusion)通常是扩散模型(Diffusion Model),文本模型例如GPT-4则是Transformer模型,而Sora则采用了DiT架构,融合了前述两者的特性。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  据报道,传统的扩散模型的训练过程是通过多个步骤逐渐向图片增加噪点,直到图片变成完全无结构的噪点图片,然后在生成图片时,逐步减少噪点,直到还原出一张清晰的图片。Sora采用的架构是通过Transformer的编码器-解码器架构处理包含噪点的输入图像,并在每一步预测出更清晰的图像。DiT架构结合时空Patch,让Sora能够在更多的数据上进行训练,输出质量也得到大幅提高。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  OpenAI发布的Sora技术报告透露,Sora采用的DiT架构是基于一篇名为Scalable diffusion models with transformers的学术论文。记者查询预印本网站arxiv后发现,该篇原作论文是2022年12月由伯克利大学研究人员William (Bill) Peebles和纽约大学的一位研究人员Saining Xie共同发表。William (Bill) Peebles之后加入了OpenAI,领导Sora技术团队。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  然而,戏剧化的是,Meta的AI科学家Yann LeCun在X平台上透露,“这篇论文曾在2023年的计算机视觉会议(CVR2023)上因‘缺少创新性’而遭到拒绝,但在2023年国际计算机视觉会议(ICCV2023)上被接受发表,并且构成了Sora的基础。”OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  作为最懂DiT架构的人之一,在Sora发布后,Saining Xie在X平台上发表了关于Sora的一些猜想和技术解释,并表示,“Sora确实令人惊叹,它将彻底改变视频生成领域。”OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  “当Bill和我参与DiT项目时,我们并未专注于创新,而是将重点放在了两个方面:简洁性和可扩展性。”他写道:“简洁性代表着灵活性。关于标准的ViT,人们常忽视的一个亮点是,它让模型在处理输入数据时变得更加灵活。例如,在遮蔽自编码器(MAE)中,ViT帮助我们只处理可见的区块,忽略被遮蔽的部分。同样,Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。”OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  不过,他认为,关于Sora仍有两个关键点尚未被提及。一是关于训练数据的来源和构建,这意味着数据很可能是Sora成功的关键因素;二是关于(自回归的)长视频生成,Sora的一大突破是能够生成长视频,但OpenAI尚未揭示相关的技术细节。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  开发团队还有“00后”OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   随着Sora的爆火,Sora团队也来到世界舞台的中央,引发了持续的关注。记者查询OpenAI官网发现,Sora团队由William Peebles等3人领导,核心成员包括12人。从团队领导和成员的毕业和入职时间来看,这支团队成立的时间较短,尚未超过1年。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  从年龄上来看,这支团队也非常年轻,两位研究负责人都是在2023年才刚刚博士毕业。William (Bill) Peebles于去年5月毕业,其与Saining Xie合著的扩散Transformer论文成为Sora的核心理论基础。Tim Brooks于去年1月毕业,是DALL-E 3的作者之一,曾在谷歌和英伟达就职。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  团队成员中甚至还有“00后”。团队中的Will DePue生于2003年,2022年刚从密西根大学计算机系本科毕业,在今年1月加入Sora项目组。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  此外,团队还有几位华人。据媒体报道,Li Jing是DALL-E 3的共同一作,2014年本科毕业于北京大学物理系,2019年获得MIT物理学博士学位,于2022年加入OpenAI。Ricky Wang则是今年1月刚刚从Meta跳槽到OpenAI。其余华人员工包括Yufei Guo等尚未有太多公开资料介绍。OvD流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:揭秘Sora:开发团队成立不到1年,核心成员含多位华人http://www.llsum.com/show-5-6758-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 创历史新高 民航春节假期运客1799.2万人次

下一篇: 中国内地中小企业投资AI技术意愿全球最强

热门资讯

推荐资讯

  • 支付宝发布出境游消费新趋势

      近日,支付宝发布出境游消费新趋势:可持续出游成为出境游的新方式。国内游客除了想要更多的目的地优惠、更好的汇率、更地道的攻略,还希望去远方旅行时继续实践可持续低碳行

  • 曲江文旅2023年实现营收15.04亿元

      4月28日,曲江文旅发布了2023年财报。报告显示,曲江文旅2023年实现营业收入15.04亿元,较上年同期增幅68.80%;归属于上市公司股东的净亏损1.95亿元,较上年同期增加5262.47万元

  • 锦江酒店:2024第一季净利润1.9亿元,同比增加34.56%

    锦江酒店(600754.SH)发布2024年一季度报告,报告期内公司实现营业收入32.06亿元,同比增加6.77%;归属于上市公司股东的净利润1.9亿元,同比增加34.56%;归属于上市公司股东的扣除非经

  • 小红书正进行新一轮估值200亿美元融资

      4月29日,据IPO早知道公众号消息,小红书正在进行新一轮估值200亿美元的融资。接近本轮融资的投资人透露,本轮融资实则就是小红书的Pre-IPO轮融资,将为小红书潜在的IPO作一定

  • 北京市文明旅游主题宣传活动启动

    4月29日,“文明旅游 美丽中国”全国首发站——北京在行动文明旅游主题宣传活动举办,现场同步启动了“遇见你,成为最美的风景”北京市文明

  • 青岛鲲鹏主题乐园将于“五一”期间对外开放

      近日,据了解,由海控集团投资建设的青岛鲲鹏主题乐园将于“五一”期间正式对外开放。  该项目位于青岛红树林度假世界园区内,占地面积约15000㎡。鲲鹏主题乐园以自然、互

  • 天津首个配售型保障性住房项目开工

      近日,从天津市住建委获悉,天津市首个配售型保障性住房项目——红桥区丽水苑项目开工,标志着天津市配售型保障性住房建设迈出新步伐。  该项目位于天津市红桥区光荣道与咸

  • 县域旅游:既有慢生活,也有性价比

    从携程等线上旅游平台发布的预定数据来看,今年“五一”期间的热门旅游县域中,既包括甘肃敦煌等历来较火的旅游目的地,也有江浙沪、京津冀等周边城市的

  • 文旅部:2024年“五一”假期国内旅游出游2.95亿人次

      2024年“五一”假期,全国文化和旅游市场总体平稳有序。文化和旅游部6日发布数据显示,据文化和旅游部数据中心测算,全国国内旅游出游合计2.95亿人次,同比增长7.6%,按可比口径

  • 2024年轻人出游趋势:美食文化体验忙 “旅拍”热度暴涨

    为爱好说走就走、种草网红城市好玩不贵,对于能够记录美好瞬间的“旅拍”格外舍得投入……2024年,年轻人的个性化需求催生更多旅游新玩法

  • 沙特首家艾迪逊酒店揭幕

    近日,沙特首家艾迪逊品牌酒店——吉达艾迪逊酒店全新揭幕。酒店拥有52间客房和11间套房,包括两间顶层公寓、一个带游泳池的屋顶露台、水疗中心、健身房,以及两个休息室和一间招

  • 三亚金都蔚景温德姆酒店拍卖,起拍价5.25亿元

    5月7日,据阿里资产拍卖网显示,三亚市天涯区南边海路113-2号三亚南海方舟旅游度假酒店(又名金都蔚景温德姆酒)将于6月11日公开拍卖,起拍价5.25亿元,评估价5.84亿元。据了解,金都蔚景

  • 日榜
  • 周榜
  • 月榜