设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

揭秘Sora:开发团队成立不到1年,核心成员含多位华人

2024-02-21 09:11:45 来源:

  揭秘Sora:开发团队成立不到1年,核心成员包含多位华人sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

每经记者 文巧 sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  2月16日,OpenAI的AI视频模型Sora炸裂出道,生成的视频无论是清晰度、连贯性和时间上都令人惊叹,一时间,诸如“现实不存在了”的评论在全网刷屏。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Sora是如何实现如此颠覆性的能力的呢?这就不得不提到其背后的两项核心技术突破――Spacetime Patch(时空Patch)技术和Diffusion Transformer(DiT,或扩散型 Transformer)架构。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  《每日经济新闻》记者查询这两项技术的原作论文发现,时空Patch的技术论文实际上是由谷歌DeepMind的科学家们于2023年7月发表的。DiT架构技术论文的一作则是Sora团队领导者之一William Peebles,但戏剧性的是,这篇论文曾在2023年的计算机视觉会议上因“缺少创新性”而遭到拒绝,仅仅1年之后,就成为Sora的核心理论之一。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  如今,Sora团队毫无疑问已经成为世界上最受关注的技术团队之一。记者查询OpenAI官网发现,Sora团队由Peebles等3人领导,核心成员包括12人,其中有多位华人。值得注意的是,这支团队十分年轻,成立时间尚未超过1年。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  创新“站在谷歌肩上”sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   此前,OpenAI在X平台上展示了Sora将静态图像转换为动态视频的几个案例,其逼真程度令人惊叹。Sora是如何做到这一点的呢?这就不得不提到该AI视频模型背后的两项核心技术――DiT架构和Spacetime Patch(时空Patch)。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  据外媒报道,Spacetime Patch是Sora创新的核心之一,该 项 技 术 是 建 立 在 谷 歌DeepMind对NaViT(原生分辨率视觉Transformer)和ViT(视觉Transformer)的早期研究基础上。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Patch可以理解为Sora的基本单元,就像GPT-4 的基本单元是Token。Token是文字的片段,Patch则是视频的片段。GPT-4被训练以处理一串Token,并预测出下一个Token。Sora遵循相同的逻辑,可以处理一系列的Patch,并预测出序列中的下一个Patch。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  Sora之所以能实现突破,在于其通过Spacetime Patch将视频视为补丁序列,Sora保持了原始的宽高比和分辨率,类似于NaViT对图像的处理。这对于捕捉视觉数据的真正本质至关重要,使模型能够从更准确的表达中学习,从而赋予Sora近乎完美的准确性。由此,Sora能够有效地处理各种视觉数据,而无需调整大小或填充等预处理步骤。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  记者注意到,OpenAI发布的Sora技术报告中透露了Sora的主要理论基础,其中Patch的技术论文名为Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution。记者查询预印本网站arxiv后发现,该篇论文是由谷歌DeepMind的科学家们于2023年7月发表的。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  相关论文曾遭拒绝sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   除此之外,Sora的另一个重大突破是其所使用的架构,传统的文本到视频模型(如Runway、Stable Diffusion)通常是扩散模型(Diffusion Model),文本模型例如GPT-4则是Transformer模型,而Sora则采用了DiT架构,融合了前述两者的特性。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  据报道,传统的扩散模型的训练过程是通过多个步骤逐渐向图片增加噪点,直到图片变成完全无结构的噪点图片,然后在生成图片时,逐步减少噪点,直到还原出一张清晰的图片。Sora采用的架构是通过Transformer的编码器-解码器架构处理包含噪点的输入图像,并在每一步预测出更清晰的图像。DiT架构结合时空Patch,让Sora能够在更多的数据上进行训练,输出质量也得到大幅提高。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  OpenAI发布的Sora技术报告透露,Sora采用的DiT架构是基于一篇名为Scalable diffusion models with transformers的学术论文。记者查询预印本网站arxiv后发现,该篇原作论文是2022年12月由伯克利大学研究人员William (Bill) Peebles和纽约大学的一位研究人员Saining Xie共同发表。William (Bill) Peebles之后加入了OpenAI,领导Sora技术团队。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  然而,戏剧化的是,Meta的AI科学家Yann LeCun在X平台上透露,“这篇论文曾在2023年的计算机视觉会议(CVR2023)上因‘缺少创新性’而遭到拒绝,但在2023年国际计算机视觉会议(ICCV2023)上被接受发表,并且构成了Sora的基础。”sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  作为最懂DiT架构的人之一,在Sora发布后,Saining Xie在X平台上发表了关于Sora的一些猜想和技术解释,并表示,“Sora确实令人惊叹,它将彻底改变视频生成领域。”sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  “当Bill和我参与DiT项目时,我们并未专注于创新,而是将重点放在了两个方面:简洁性和可扩展性。”他写道:“简洁性代表着灵活性。关于标准的ViT,人们常忽视的一个亮点是,它让模型在处理输入数据时变得更加灵活。例如,在遮蔽自编码器(MAE)中,ViT帮助我们只处理可见的区块,忽略被遮蔽的部分。同样,Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。”sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  不过,他认为,关于Sora仍有两个关键点尚未被提及。一是关于训练数据的来源和构建,这意味着数据很可能是Sora成功的关键因素;二是关于(自回归的)长视频生成,Sora的一大突破是能够生成长视频,但OpenAI尚未揭示相关的技术细节。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  开发团队还有“00后”sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

   随着Sora的爆火,Sora团队也来到世界舞台的中央,引发了持续的关注。记者查询OpenAI官网发现,Sora团队由William Peebles等3人领导,核心成员包括12人。从团队领导和成员的毕业和入职时间来看,这支团队成立的时间较短,尚未超过1年。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  从年龄上来看,这支团队也非常年轻,两位研究负责人都是在2023年才刚刚博士毕业。William (Bill) Peebles于去年5月毕业,其与Saining Xie合著的扩散Transformer论文成为Sora的核心理论基础。Tim Brooks于去年1月毕业,是DALL-E 3的作者之一,曾在谷歌和英伟达就职。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  团队成员中甚至还有“00后”。团队中的Will DePue生于2003年,2022年刚从密西根大学计算机系本科毕业,在今年1月加入Sora项目组。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

  此外,团队还有几位华人。据媒体报道,Li Jing是DALL-E 3的共同一作,2014年本科毕业于北京大学物理系,2019年获得MIT物理学博士学位,于2022年加入OpenAI。Ricky Wang则是今年1月刚刚从Meta跳槽到OpenAI。其余华人员工包括Yufei Guo等尚未有太多公开资料介绍。sDM流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:揭秘Sora:开发团队成立不到1年,核心成员含多位华人http://www.llsum.com/show-5-6758-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 创历史新高 民航春节假期运客1799.2万人次

下一篇: 中国内地中小企业投资AI技术意愿全球最强

热门资讯

推荐资讯

  • 文旅部发布五一安全出游提示

      4月26日,随着五一黄金周的临近,文旅部发布了一系列出游提示,以提醒广大游客注意假期旅行安全。  文化和旅游部提醒广大游客: 一、增强汛期防范意识。全国部分地区陆续进入

  • 人民财评:狠抓“五个放心”,接住文旅“泼天富贵”

      “五一”假期是一扇窗口,折射中国假日经济的不断发展变化。挖掘假日经济的内涵和外延,是提升消费质量、拉动经济增长的“关键一招”,优化消费环境又是提振假日经济的关键所

  • 新濠博亚娱乐集团与石基集团达成合作

    4月28日,新濠博亚娱乐有限公司(以下简称:新濠)与石基集团(以下简称“石基”)达成合作,选择石基企业平台推动其全球度假村的数字化转型升级。新濠在亚洲和欧洲拥有并经营多个综合性

  • 绝望的治疗:杜拉斯的电影与文学

    2024年是玛格丽特·杜拉斯诞辰110周年。北京法国文化中心于4月举办杜拉斯电影回顾展,《印度之歌》《情人》《广岛之恋》等八部影视作品再次带

  • “士别三日”的他,因读书让人“刮目相看”

    吕蒙为三国时期东吴大将,是人们熟知的那句成语典故“士别三日,刮目相待”的主人公。正是靠着读书,吕蒙让孙权、鲁肃等比他知名度更高的三国群雄刮目相

  • 岭南控股2024年一季度实现营收超9亿元

      近日,岭南控股发布2024年一季度财报。财报显示,岭南控股2024年一季度实现营业收入9.01亿元,同比增长89.02%;归属于上市公司股东净利润2,411.25万元,同比增长176.89%;归属于

  • 沃德酒店集团首家民宿酒店开业

    近日,沃德酒店集团旗下的首家民宿酒店——观云里店在青岛开业,标志着沃德酒店集团在多元化酒店业务布局上迈出了坚实一步。酒店位于胶州路116号,交通便利,紧邻中山路地铁站B口。

  • 重庆:五一假期重点监测的旅游景区接待游客684.9万人次

      5月6日,从重庆市文化旅游委获悉,“五一”假期间,纳入统计的全市过夜游客接待量为160.14万人次,同比增长11.3%。纳入重点监测的旅游景区接待游客684.9万人次,按可比口径增长7.

  • 企查查:去年文旅相关企业注册量同比增长53.77%

      去年以来,国内文旅热度只增不减,众人纷纷踏出家门,在阳光或霓虹灯下置身人海,感受久违的市井烟火。但在体验过人海的热闹和城市的喧嚣之后,人们对文旅的热情不知觉进入了第二

  • 万科启动北京朝阳区首个“村地区管”租赁住房项目

      近日,北京万科在朝阳区的“G地块集体土地租赁住房项目”举行了开工奠基仪式,标志着朝阳区在集体土地租赁住房领域的创新探索迈出了实质性步伐。该项目由北京朝阳高碑店乡

  • 沙特首家艾迪逊酒店揭幕

    近日,沙特首家艾迪逊品牌酒店——吉达艾迪逊酒店全新揭幕。酒店拥有52间客房和11间套房,包括两间顶层公寓、一个带游泳池的屋顶露台、水疗中心、健身房,以及两个休息室和一间招

  • 贵州格美荔波文旅演艺小镇项目签约

      近日,格美荔波文旅演艺小镇项目投资合作协议签约仪式在贵州省荔波县举行。签约仪式上,荔波县简要汇报项目前期工作开展情况,格美集团汇报文旅演艺小镇规划设计情况,并由双方

  • 日榜
  • 周榜
  • 月榜