新闻中心

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

2023-12-14
浏览次数:
返回列表

看!现在正有四位小姐姐在你面前大秀热舞:

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

以为是某些主播在短视频平台发布的作品?

No,No,No。

真实答案是:假的,生成的,而且还是只靠了一张图的那种!

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

真正的开启方式是这样的:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

这就是来自新加坡国立大学和字节跳动最新的一项研究,名叫MagicAnimate

它的作用简单来说可以总结为一个公式:一张图片 + 一组动作 = 毫无违和感的视频

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

随着这项技术的公布,科技圈内掀起了一股轩然大波,众多科技巨擘和极客们纷纷加入其中

就连HuggingFace CTO都拿自己的头像体验了一把:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

顺便还以一种幽默的方式开了个玩笑:

这算是健身了吧?我这周可以不去健身房了。

还有相当与时俱进的网友,拿着刚出炉的GTA6(侠盗猎车手6)预告片中的人物玩了一把:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

甚至连表情包都成为了网友们选择的对象......

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

MagicAnimate可以说是把科技圈的目光聚焦到了自己身上,因此也有网友调侃说:

OpenAI可以休息一下了。

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

火,着实是火。

一张图即可生成一段舞

MagicAnimate如此受欢迎,应该如何使用呢?

话不多说,我们现在就来手把手地体验一次。

目前,我们的项目团队已经在HuggingFace上开放了一个在线体验页面

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

操作非常简单,只需要三个步骤:

  1. 上传一张静态人物照片
  2. 上传想要生成的动作demo视频
  3. 调整参数,点击“Animate”即可

举个例子,以下是我的照片和最近全球风靡的《科目三》舞蹈片段:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

△视频源:抖音(ID:QC0217)

也可以选择页面下方提供的模版进行体验:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

不过需要注意的是,由于MagicAnimate目前过于火爆,在生成的过程中可能会出现“宕机”的情况:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

即便成功“食用”,可能也得排大队抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了……

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

(没错!截至发稿,还是没有等到结果!)

除此之外,MagicAnimate在GitHub中也给出了本地体验的方式,感兴趣的小伙伴可以试试哦~

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

那么接下来的一个问题便是:

怎么做到的?

整体而言,MagicAnimate采用的是基于扩散模型(diffusion)的一个框架,目的就是增强时间一致性、保持参考图像的真实性,并提高动画保真度。

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

为此,团队首先开发了一个视频扩散模型(Temporal Consistency Modeling)来编码时间信息。

这个模型通过在扩散网络中加入时间注意力模块,来编码时间信息,从而确保动画中各帧之间的时间一致性。

其次,为了保持帧间的外观一致性,团队引入了一种新的外观编码器(Appearance Encoder)来保留参考图像的复杂细节。

这个编码器与以往使用CLIP编码的方法有所不同,它能够提取更密集的视觉特征,以引导动画制作,从而更好地保留身份、背景和服装等信息

在这两项创新技术的基础之上,团队进一步采用了一种简单的视频融合技术(Video Fusion Technique)来促进长视频动画的平滑过渡。

最终,经过两个基准实验的验证,结果显示MagicAnimate的效果远远超过以往的方法

尤其是在具有挑战性的TikTok舞蹈数据集上,MagicAnimate在视频保真度方面比最强基线高出38%以上!

以下是团队给出的定性比较:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

并且与cross-ID的最先进的基准模型相比,我们的结果如下:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

One More Thing

不得不说,像MagicAnimate这样的项目最近真的非常受欢迎

这不,在它“出道”前不久,阿里团队也发布了一个名叫Animate Anyone的项目,同样是只要“一张图”和“想要的动作”:

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

由此,也有网友提出了疑问:

这似乎是MagicAnimate和AnimateAnyone之间的战争。谁更胜一筹?

抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了

你觉得呢?

请点击以下链接查看论文:https://arxiv.org/abs/2311.16498

以上就是抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了的详细内容,更多请关注其它相关文章!


# 智能  # 就能  # 高质量  # 一张照片  # 出镜  # AI  # 外贸互联网营销推广方向  # 网络营销推广模式图片  # 三明网站优化费用  # 怎么做恋爱网站推广赚钱  # 临海seo收录  # 电销行业互联网营销推广  # 河南网站建设服务公司  # 建设网站有什么费用吗  # 东莞问答营销推广多少钱  # 整站seo推广方案  # 三大  # 互动  # 也有  # 麦当劳  # 的是  # 开源 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 如何查看硬盘是固态硬盘  如何学习typescript  ensp命令如何提示  typescript掌握哪些可以做项目  单片机怎么加死循环  折叠屏手机选择哪个好  路由器power灯一直亮是什么意思  对应市盈率是30X是什么意思  如何提高固态硬盘性能  如何用dos命令启动u盘  苹果16有哪些自带配件  苹果16改进了哪些  db2命令中如何去到指定的副本  春运抢票多久可以买到票  oracle中datediff函数怎么用 Oracle中DATEDIFF函数详解  typescript是什么软件  360n6锁屏壁纸怎么设置  win7怎么做幻灯片  春运抢票需要抢几天  如何查看邮件域名解析  如何设置sql命令  三星 nfc什么功能是什么意思  新三板市盈率是什么意思  交管12123协议头不完整是啥意思  语音聊天软件哪个好 语音聊天软件2025排行榜  安卓手机怎么打开5g  360n5锁屏壁纸怎么设置  硬盘和固态硬盘如何区分  恋爱软件免费聊天不收费的有哪些  市盈率ttm写的亏损是什么意思  苹果ipad爱奇艺怎么投屏到电视  typescript适合什么用  solidworks打开IGS文件作图教程  python如何命令行换行  driver是什么意思  皓影混动仪表盘上power是什么意思  固态硬盘损坏如何修复  iPhone无法打开YouTube原因分析与解决方案  typescript书籍哪个好  春运抢票软件哪个最好用  舆论是什么意思  为什么学typescript  如何测试固态硬盘速度  哪些编程软件需用typescript  免费恢复删除的微信聊天记录软件有哪些  输入命令如何换行  put linux命令如何书写  老电脑如何装固态硬盘  nfc功能是什么意思怎么开启  单片机加热片怎么制作 

搜索