图生视频又有新玩法。

腾讯混元联合港科大、清华大学联合推出肖像动画生成框架“Follow Your Emoji”，可以通过人脸骨架信息生成任意风格的脸部动画。基于算法革新和数据积累，“Follow Your Emoji”可以支持对脸部进 行精细化的控制，包括眉毛、眼睛、翻白眼等细节，动物表情包也可以轻松“拿捏”。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Follow Your Emoji不仅支持单个表情多肖像的生成，也支持单个肖像多表情的生成。

近年来，扩散模型展示了比旧的对抗式生成网络（GAN）更好的生成能力。一些方法利用强大的基础扩散模型进行高质量视频和图像生成，但这些基础模型无法直接在动画过程中保留参考肖像的身份特征，导致视频结果显示出失真和不现实的伪影。这是肖像动画任务的主要挑战之一。

图：论文整体流程图，上半部分是训练流程，下半部分是测试流程

本研究中，研究员提出了一个新颖的基于扩散模型的肖像动画框架Follow-Your-Emoji。算法上有两大主要创新。

这一表情控制信号能够有效地引导动画生成。研究员们通过肖像（面部）3D关键点来定位信息，由于3D关键点具有固有的规范属性，因此可以有效地将目标动作与参考肖像对齐，避免出现失真，导致生成的视频面部变形。这项技术的应用范围非常广泛，可以用于生产的视频面部变形。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

其次，该研究还提出了一种面部细粒度损失函数，以帮助模型专注于捕捉微妙的表情变化和参考照片中肖像的详细外观。具体地，作者首先利用面部掩模和表情掩模与作者的表情感知信号，然后计算这些掩模区域中地面真实值和预测结果之间的空间距离，来实现表情包对原肖像的高度还原。

为了训练模型，本项研究还构建了一个高质量的表情训练数据集，其中包含18种夸张的表情和来自115位主体的20分钟*。同时，研究采用了渐进式生成策略，使方法能够扩展到具有高保真度和稳定性的长期动画合成。

图：论文的定量实验结果和定性试验结果展示，相比之前的方法，Follow-Your-Emoji可以实现更好的效果

最后，为了解决肖像动画领域缺乏基准测试的问题，研究还引入了一个名为EmojiBench的综合基准测试，其中包括410个各种风格的肖像动画视频，展示了广泛的面部表情和头部姿势。使用EmojiBench对Follow-YourEmoji进行了全面评估，评估结果表明，本方法在处理训练领域之外的肖像和动作时表现出色，与现有的基准方法相比，本方法在定量和定性上均表现更好，提供了出色的视觉保真度身份表现和精确的动作渲染。

网站：Follow-Your-Emoji: Freestyle Portrait Animation

论文：[2406.01900] Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation

以上就是腾讯混元联合港科大及清华推出「Follow Your Emoji」， 一键让照片变表情包的详细内容，更多请关注其它相关文章！

# git  # 绵阳网站建设价格多少  # 黄埔区seo报价  # 优化网站视频拍摄  # 浙江桂花茶网站建设方案  # 有效地  # 五大  # 提出了  # 都能  # 华纳  # 南极  # 一键  # 科大  # 清华  # 腾讯  # follow  # 腾讯混元  # 产业  # 闵行网站建设网址  # 桂林做网站推广  # 网站搜索优化官网下载  # seo外链发布助手  # 精准营销网络推广怎么做  # 武汉软床垫网站推广 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： .asm如何在命令行运行  win10电脑如何使用命令提示符  typescript是做什么用的  typescript怎么添加css样式  春运抢票如何快速抢到票  如何用命令下载服务器网站  苹果16有哪些改善  如何安装tree命令  vue项目如何用typescript  360n7锁屏壁纸怎么固定  为什么学typescript  为什么要用typescript6  硬盘和固态硬盘如何区分  typescript解决了什么  市盈率pe是什么意思  openwrt有什么用  燃气热水器上的power是什么意思  春运车站抢票和网上抢票  苹果16如何预购  对象数组怎么用j*a  单片机怎么进行排序操作  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  win10windows资源管理器在哪里打开  vue组件typescript怎么用  夸克po什么意思  怎么在爱奇艺中投屏到电视最新方法  如何打开win10命令  夸克加载什么要会员  负市盈率是什么意思  春运返程如何抢票成功  春运抢票需要什么软件抢  固态硬盘如何测试  单片机蓝牙怎么开启设备  春运抢票何时开始抢票的  j*a怎么讲数组打印  折叠屏手机为什么这么小  春运抢票用不用取票码  老电脑如何装固态硬盘  youtube受限模式是什么_youtube受限模式是什么意思  索尼type-c接口是什么  如何利用固态硬盘  楔子是什么意思  爱奇艺fun会员可以几个人用？  花呗征信不好如何恢复 如何修复不良的花呗征信  净水器上的power是什么意思  如何发挥固态硬盘性能  make命令如何使用  access中如何使用常用宏命令  如何用命令查看本机的操作系统  typescript是什么时候出来的