设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

2024-05-08 09:13:35 来源: 量子位

Sora后第二火的AI视频技术uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

衡宇 梦晨 发自 凹非寺uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

量子位 | 公众号 QbitAIuGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

等了7分多钟,刚从北京闪现闪离的马斯克,他终于夸我是个人才:uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩好了,别骂诈骗,我全都招!uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

现在登录通义App(原通义千问),选择全民演唱功能,只需上传任意一张人物正面大头照,你也能玩儿了。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这个功能开放不到一周时间,但经量子位观察,还挺火。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

热度一直没掉下去,关键是生成时间也跟热度一起高居不下,顺利的话几分钟生成的小视频,挤的时候排队能排出好几个小时开外,亏得是阿里云服务器没被挤爆(不是)。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

从国内外的网友分享反馈来看,大家还挺喜欢文艺复兴,最受欢迎的片段是让个路人马轮番演唱《野狼Disco》。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

除了唱歌,还能把朋友放进(非)著名表情包念台词。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

玩儿梗的人太多,以至于马斯克都给搞EMO了:uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩而这背后的“始作俑者”,就是来自阿里通义实验室的EMO,继Sora之后热度第二高的AI视频项目。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

如今一个月过去,星标数已经直奔7k而去。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

趁此热度,我们也得到了一个与EMO背后大佬,阿里通义实验室XR实验室负责人薄列峰当面催更的机会。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

他表示在放心把技术开源之前,首先还是要解决安全问题。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

负责人讲解背后技术

距项目公开仅2个月,通义实验室团队就直接将这一技术免费开放,但所有人都可以在通义APP(原通义千问)体验全新的AIGC玩法。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

如果你想亲自上手试试,打开对话输入“EMO”直达或进入“频道”选择“全民舞台”即可。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

选择喜欢的音频片段,并上传一张大头照。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

如果在热门时段,需要等待40分钟到几个小时不等,但其实主要是在排队。薄列峰透露,单纯生成10秒视频,只需要10-15分钟uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

对于上传的照片,系统首先会进行人脸检测,不过有些长得太像人的动物也能顺利蒙混过关!uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

比如撞脸莫言的小狗,就成功地骗过了系统。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

但是撞脸余华的小狗就没那么幸运了,系统一下子就把它给识破了(没有任何对余华老师不敬的意思)。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

为什么只需要上传一张图就能立即做到逼真效果?uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

薄列峰介绍,EMO的核心思路是“弱控制设计”,无需对整个面部建模,这一点甚至体现在了论文标题上。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

在生成过程中,面部定位器(Face Locator)用来编码面部的边界框区域。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

速度编码器(Speed Encoder)确保头部运动的速度与音频的节奏和强度相匹配。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

这些控制机制被称为“弱控制”是因为它们提供的控制不是强制性的或硬性的,而是允许一定程度的自然变化和表现力。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

例如,面部区域控制器并不严格限定面部的具体位置,而是给出了一个允许面部运动的较大区域。同样,速度控制器并不精确控制每一帧的速度,而是提供一个速度范围,让生成的头部运动接近但不一定完全符合指定的速度水平。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

通过使用这些弱条件,EMO框架能够在保持角色身份一致性的同时,生成具有丰富表情和自然头部运动的视频,从而在表达性和逼真度方面取得更好的效果。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

比起传统的分别针对眼睛鼻子嘴等部位的建模方案,EMO更着重考虑整个面部的联合运动,最终效果也就可以做到自然流畅了。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

另外薄列峰还透露,选择这个技术路线也是出于实用性、普及性的考虑。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

一张图、一段音频,每个人都非常容易获取,门槛低一些,让大家都能玩起来。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

关于EMO的技术选择,薄列峰还透露了一个消息。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

虽然EMO使用传统基于U-net的扩散模型架构,但Pipeline是解耦的,如果后续尝试Sora同款DiT架构做到更好效果的话,也可以轻松切换过去uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

对于未来发展方向,EMO目前只做了人头,将来还会扩展到半身、全身。到时候,能实现一张照片让人物同时唱跳RAP篮球也说不定。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

高于平均水平的AIGC内容才会被消费

在此之前,EMO背后通义实验室所推项目中,最火的是与EMO一脉相承的Animate Anyone模型。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

代表杰作:奶牛猫跳舞uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

算法原理上,EMO和Animate Anyone都采用了Backbone + ReferenceNet的结构,实现有参考图像引导的去噪生成过程。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

其中,Animate Anyone在实现了保留特定对象ID的生成式模型的基础上,进一步证明可以通过一些输入控制信号控制生成内容,特别是人物的动作。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

所以其实背后团队是专注数字人的团队,没想到在通义App上包装成“全民舞王”后,大家对动物玩法更感兴趣。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

一个多月前,团队还在全民舞王针对小猫小狗等动物主体检测做了一半优化,使上传动物照片的通过率大幅度提升。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

即使检测出来用户上传的是动物,只要通过了骨骼检测,啥小动物都可以起来嗨。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

“现在技术确实可以生成很多的图片、视频,但如果他们都是平均甚至低于平均水平,大家不见得有兴趣去消费。”薄列峰笑道,奶牛猫跳舞确实很妖娆,“这给我们把链路打通带来更多的思考——把简单高质量的内容,通过新技术去实现可能。”uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

聊天最后,薄列峰还给大家推荐了一个EMO的私房玩法:uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

可以试试拿自己5岁、10岁、15岁……的照片,自己对话,自己合唱。uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

值得一试哟~uGv流量资讯——探索最新科技、每天知道多一点LLSUM.COM

本文链接:《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩http://www.llsum.com/show-2-5685-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 58行代码把Llama 3扩展到100万上下文,任何微调版都适用

下一篇: 首选窗口瞄准17时27分 嫦娥六号任务今日发射

热门资讯

  • 让肺部磁共振成像从“不可看”到“看得清”

    患者只需吸入特制的“氙气”,3.5秒后一幅人体肺部磁共振3D影像就呈现出来。影像中,气体可抵达肺部的位置清晰可见,患者的肺部微结构、气体交换功能情

  • 负碳复合建材助力减缓全球变暖

    美国太平洋西北国家实验室的科学家设计了一种复合装饰材料,可以储存更多二氧化碳,提供了一种既符合建筑规范,又比标准复合饰面板便宜的“负碳”选择。

  • 省电“神器”是“黑科技”还是智商税?

    3月15日,我国一些地区停止居民集中供热。初春时节,乍暖还寒。停暖初期昼夜温差较大,老人、儿童等身体较弱者,可能需要使用电暖气、电热毯等取暖设备,这

  • 我国首个制氢加氢一体站团体标准发布

    我国制氢加氢一体站建设有了团体标准。记者从中国石化获悉,为推动我国氢能交通产业发展,中国石化联合国内数十家氢能头部企业发布了国内首个《制氢加

  • 国家工程师丨锻造能“听”清眼疾的高精设备

    眼眸深邃似海、璨如星河,中国医学科学院生物医学工程研究所眼科诊疗技术研发团队(以下简称“团队”)正是眼眸“侦探”。该团队不久前被授予“国家卓越

  • 植物避盐性的关键基因被发现

    记者3月21日从安徽农业大学获悉,该校生命科学学院韩毅教授课题组与国内外专家合作,发现了植物避盐性的关键基因。该研究对于提高植物耐盐性,帮助盐碱

  • AI+智能家居赋能健康睡眠

    3月21日是第二十五个“世界睡眠日”,中国睡眠研究会联合慕思集团在北京正式发布《2024情绪与健康睡眠白皮书》(以下简称《白皮书》)。《白皮书》指出,

  • 女性比男性更易失眠?什么原因导致?专家分析

    造成女性更容易睡不好的原因是多方面的,包括更年期等生理周期等,而女性长期的失眠除了会导致内分泌进一步失调,还会诱发心脏病、高血压、糖尿病、免疫

  • AI伴侣能否带来亲密关系

    自2023年以来,人工智能的“触角”已延伸到生活的方方面面。其中,“人工智能+情感”的赛道正悄然崛起。目前,国内外已经出现了多款较为成熟的AI伴侣应

  • 30台发动机助进阶版“鹊桥”升空

      30台发动机助进阶版“鹊桥”升空  中新社西安3月20日电 (记者 张一辰)3月20日8时31分,长征八号遥三运载火箭在中国文昌航天发射场顺利升空,成功将“鹊桥二号”卫星送入

  • 2999元!卢伟冰:xiaomiCivi 4 Pro可能是2024年最轻薄的电话

    3月22日消息,xiaomi集团的卢伟冰在微博上表示,xiaomiCivi 4 Pro有可能是2024年最轻薄的电话。这款电话的厚度仅为7.45mm,重量为179.3g。尽管拥有超轻薄的

  • 荣耀Magic6 RSR 保时捷设计首销卖光:9999元供不应求

    3月23日消息,荣耀Magic6 RSR 保时捷设计于3月22日正式开售,售价为9999元。该款电话首销当天即被抢购一空,荣耀商城显示,下一轮销售时间将是3月29日上午10:0

推荐资讯

  • 日榜
  • 周榜
  • 月榜