sora之后，居然还有新的ai视频模型，能惊艳得大家狂转狂赞！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

有了它，《狂飙》大反派高启强化身罗翔，都能给大伙儿普法啦（狗头）。

这就是阿里最新推出的基于音频驱动的肖像视频生成框架，EMO（Emote Portrait Alive）。

有了它，输入单张参考图像，以及一段音频（说话、唱歌、RAP均可），就能生成表情生动的AI视频。视频最终长度，取决于输入音频的长度。

你可以让蒙娜丽莎——这位AI届效果体验的老选手，朗诵一段独白：

年轻俊美的小李子来段快节奏的RAP才艺秀，嘴形跟上完全没问题：

甚至粤语口型也能hold住，这就让哥哥张国荣来首陈奕迅的《无条件》：

总之，不管是让肖像唱歌（不同风格的肖像和歌曲）、让肖像开口说话（不同语种）、还是各种“张冠李戴”的跨演员表演，EMO的效果，都让咱看得一愣一愣的。

网友大感叹：“我们正在走进一个新的现实！”

2019版《小丑》说2008版《蝙蝠侠黑暗骑士》的台词

甚至已经有网友开始对EMO生成视频开始了拉片，逐帧分析效果究竟怎么样。

如下面这段视频，主角是Sora生成的AI女士，本次为大家演唱的曲目是《Don’t Start Now》。

推友分析道：

这段视频的一致性，比以往更上一层楼了！
一分多钟的视频里，Sora女士脸上的墨镜几乎没有乱动，耳朵、眉毛都有独立的运动。
最精彩的是Sora女士的喉咙好像真的有呼吸哎！她唱歌的过程中身体还有微颤和移动，我直接大震惊！

图片

话说回来，EMO是热门新技术嘛，免不了拿来与同类对比——

就在昨天，AI视频生成公司Pika也推出了为视频人物配音，同时“对口型”的唇形同步功能，撞车了。

具体效果怎么样呢，我们直接摆在这儿

评论区网友对比过后得出的结论是，被阿里吊打了。

图片

EMO公布论文，同时宣布开源。

但是！虽说开源，GitHub上仍然是空仓。

再但是！虽然是空仓，标星数已经超过了2.1k。

图片

惹得网友们真的是好着急，有吉吉国王那么急。

与Sora不同架构

EMO论文一出，圈内不少人松了口气。

它与Sora技术路线不同，说明复刻Sora不是唯一的路。

EMO并不是建立在类似DiT架构的基础上，也就是没有用Transformer去替代传统UNet，其骨干网络魔改自Stable Diffusion 1.5。

具体来说，EMO是一种富有表现力的音频驱动的肖像视频生成框架，可以根据输入视频的长度生成任何持续时间的视频。

图片

该框架主要由两个阶段构成：

• 帧编码阶段

部署一个称为ReferenceNet的UNet网络，负责从参考图像和视频的帧中提取特征。

• 扩散阶段

首先，预训练的音频编码器处理音频嵌入，人脸区域掩模与多帧噪声相结合来控制人脸图像的生成。

随后是骨干网络主导去噪操作。在骨干网络中应用了两种注意力，参考注意力和音频注意力，分别作用于保持角色的身份一致性和调节角色的运动。

此外，时间模块被用来操纵的时间维度，并调整运动的速度。

在训练数据方面，团队构建了一个包含超过250小时视频和超过1500万张图像的庞大且多样化的音视频数据集。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

最终实现的具体特性如下：

• 可以根据输入音频生成任意持续时间的视频，同时保证角色身份一致性（演示中给出的最长单个视频为1分49秒）。
• 支持各种语言的交谈与唱歌（演示中包括普通话、广东话、英语、日语、韩语）
• 支持不同画风（照片、传统绘画、漫画、3D渲染、AI数字人）

图片

在定量比较上也比之前的方法有较大提升取得SOTA，只在衡量口型同步质量的SyncNet指标上稍逊一筹。

图片

与其他不依赖扩散模型的方法相比，EMO更耗时。

并且由于没有使用任何显式的控制信号，可能导致无意中生成手等其他身体部位，一个潜在解决方案是采用专门用于身体部位的控制信号。

EMO的团队

最后，来看看EMO背后的团队有那些人。

论文显示，EMO团队来自阿里巴巴智能计算研究院。

作者共四位，分别是Linrui Tian，Qi Wang，Bang Zhang和Liefeng Bo。

图片

其中，薄列峰（Liefeng Bo），是目前的阿里巴巴通义实验室XR实验室负责人。

薄列锋博士毕业于西安电子科技大学，先后在芝加哥大学丰田研究院和华盛顿大学从事博士后研究，研究方向主要是ML、CV和机器人。其谷歌学术被引数超过13000。

在加入阿里前，他先是在亚马逊西雅图总部任首席科学家，后又加入京东数字科技集团AI实验室任首席科学家。

2025年9月，薄列峰加入阿里。

图片

EMO已经不是第一次阿里在AIGC领域出圈的成果了。

图片

有AI一键换装的OutfitAnyone。

图片

还有让全世界小猫小狗都在跳洗澡舞的AnimateAnyone。

就是下面这个：

图片

如今推出EMO，不少网友在感叹，阿里是有些技术积累在身上的。

图片

如果现在把所有这些技术结合起来，那效果……

不敢想，但好期待。

图片

总之，我们离“发给AI一个剧本，输出整部电影”越来越近了。

图片

One More Thing

Sora，代表文本驱动的视频合成的断崖式突破。

EMO，也代表音频驱动的视频合成一个新高度。

两者尽管任务不同、具体架构不同，但还有一个重要的共性：

中间都没有加入显式的物理模型，却都在一定程度上模拟了物理规律。

因此有人认为，这与Lecun坚持的“通过生成像素来为动作建模世界是浪费且注定要失败的”观点相悖，更支持了Jim Fan的“数据驱动的世界模型”思想。

图片

过去种种方法失败了，而现在的成功，可能真就来自还是强化学习之父Sutton的《苦涩的教训》，大力出奇迹。

让AI能够像人们一样去发现，而不是包含人们发现的内容

突破性的进展最终通过扩大计算规模来实现

论文：https://www.php.cn/link/a717f41c203cb970f96f706e4b12617bGitHub:https://www.php.cn/link/e43a09ffc30b44cb1f0db46f87836f40

参考链接：
[1]https://www.php.cn/link/0dd4f2526c7c874d06f19523264f6552

以上就是AI视频又炸了！照片+声音变视频，阿里让Sora女主唱歌小李子说RAP的详细内容，更多请关注其它相关文章！

# 照片  # 阿里巴巴  # 互动  # 麦当劳  # 的是  # 开源  # 女主  # 子说  # 炸了  # stable diffusion  # pika  # sora  # follow  # b12  # 声音  # ai  # 小李  # 小说网站新媒体推广  # 怎么seo网络优化  # 城市建设和规划网站  # 长丰seo获客系统报价  # 抖音seo旺哥  # 淄博推广广告招聘网站  # 如何快速刷关键词排名  # 云南楚雄网站优化服务  # seo moon church  # 长春法律网站建设  # 这段 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何查找固态硬盘  照相机上面power是什么意思  kingston是什么_kingston是什么意思  如何用命令下载服务器网站  什么是typescript  为什么要出折叠屏手机  typescript与es6学哪个  如何增加固态硬盘  固态硬盘电脑如何设置  市盈率中的19a是什么意思  固态硬盘如何拆除  sqlite中datediff函数怎么用 SQLite中DATEDIFF()函数的用法分享  如何去掉拍电脑的纹路详细教程  unix时间戳是什么意思  皓影混动仪表盘上power是什么意思  typescript如何使用  为什么都用typescript  typescript能开发什么  md5解密是什么意思  春运抢票可以抢几次票  光刻机的作用及工作原理  如何修改cad命令  calm是什么意思  征信不好如何恢复信誉度 ‌征信不好恢复信誉度的方法  电焊机power灯亮是什么意思  台机如何安装固态硬盘  春运抢票何时开始抢票的  如何修改cad中的命令  内在市盈率是什么意思  固态硬盘如何外接  如何用chown命令  如何安装tree命令  power在录音笔上是什么意思  净水器上的power是什么意思  市盈率3.2是什么意思  市盈率是什么意思高好还是低好  命令行ftp如何创建目录  5G手机导航怎么旋转  交管12123协议头是什么  linux如何跳回命令行界面  ssd固态硬盘如何安装  固态硬盘如何保存  ip dhcp是什么意思  显示器的power是什么意思  命令行如何打开打印机  五十铃x-power是什么意思  如何在固态硬盘上安装win7系统  ts什么意思  vivo手机爱奇艺怎么投屏到电视操作步骤  如何选择启用固态硬盘