新闻中心

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

2023-11-30
浏览次数:
返回列表

Stability AI在本周二推出了新一代的图像合成模型——Stable Diffusion XL Turbo,这款模型引起了人们的热烈反响。许多人表示,使用该模型进行图像到文本生成变得前所未有的容易

在输入框中输入你的想法,SDXL Turbo 将快速响应并生成相应的内容,无需其他操作。无论你输入的内容增多还是减少,都不会影响它的速度

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

你可以利用现有的图像,更加精细地完成创作。只需拿一张白纸,告诉 SDXL Turbo 你想要一只白猫,还没打完字,小白猫就已经出现在你手中了

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

SDXL Turbo 模型的速度达到了近乎「实时」的程度,让人不禁开始畅想:图像生成模型是否可以有其他用途呢

有人直接连着游戏,获得了 2fps 的风格迁移画面:

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

据官方博客介绍,在 A100 上,SDXL Turbo 可在 207 毫秒内生成 512x512 图像(即时编码 + 单个去噪步骤 + 解码,fp16),其中单个 UNet 前向评估占用了 67 毫秒。

如此,我们可以判断,文生图已经进入「实时」时代。

这样的「即时生成」效率,与前不久爆火的清华 LCM 模型看起来有些相似,但是它们背后的技术内容却有所不同。Stability 在同期发布的一篇研究论文中详细介绍了该模型的内部工作原理。该研究重点提出了一种名为对抗扩散蒸馏(Adversarial Diffusion Distillation,ADD)的技术。SDXL Turbo 声称的优势之一是它与生成对抗网络(GAN)的相似性,特别是在生成单步图像输出方面。

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

论文地址:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65663480a92fba51d0e1023f/1701197769659/adversarial_diffusion_distillation.pdf

Glarity Glarity

Glarity是一款免费开源的AI浏览器扩展,提供YouTube视频总结、网页摘要、写作工具等功能,支持免费的镜像翻译,电子邮件写作辅助,AI问答等功能。

Glarity 131 查看详情 Glarity

论文细节

简单来说,对抗扩散蒸馏是一种通用方法,可将预训练扩散模型的推理步数量减少到 1-4 个采样步,同时保持高采样保真度,并有可能进一步提高模型的整体性能。 

为此,研究者引入了两个训练目标的组合:(i)对抗损失和(ii)与 SDS 相对应的蒸馏损失。对抗损失迫使模型在每次前向传递时直接生成位于真实图像流形上的样本,避免了其他蒸馏方法中常见的模糊和其他伪影。蒸馏损失使用另一个预训练(且固定)的 扩散模型作为教师,有效利用其广泛知识,并保留在大型扩散模型中观察到的强组合性。在推理过程中,研究者未使用无分类器指导,进一步减少了内存需求。他们保留了模型通过迭代细化来改进结果的能力,这比之前基于 GAN 的单步方法具有优势。

训练步骤如图 2 所示:

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

表1 展示了消融实验的结果,下列为主要结论:

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

接下来是与其他 SOTA 模型的对比,此处研究者没有采用自动化指标,而是选择了更加可靠的用户偏好评估方法,目标是评估 prompt 遵循情况和整体图像。

为了比较多个不同的模型变体(StyleGAN-T++、OpenMUSE、IF-XL、SDXL和LCM-XL),实验使用相同的提示生成输出。在盲测中,SDXL Turbo以单步击败LCM-XL的4步配置,并且仅用4步击败SDXL的50步配置。通过这些结果,可以看出SDXL Turbo的性能优于最先进的多步模型,同时计算需求明显降低,而不需要牺牲图像质量

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

这里呈现的是关于推理速度的ELO分数的可视化图表

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

在表2中,对使用相同基础模型的不同few-step采样和蒸馏方法进行了比较。结果表明,ADD方法的性能优于所有其他方法,包括8步的标准DPM求解器

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

作为定量实验结果的补充,论文也展示了部分定性实验结果,展示了 ADD-XL 在初始样本基础上的改进能力。图 3 将 ADD-XL(1 step)与 few-step 方案中当前最佳基线进行了比较。图 4 介绍了 ADD-XL 的迭代采样过程。图 8 将 ADD-XL 与其教师模型 SDXL-Base 进行了直接比较。正如用户研究所示,ADD-XL 在质量和 prompt 对齐方面都优于教师模型。

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现

如欲了解更多的研究细节,请参考原始论文

以上就是SDXL Turbo和LCM带来AI画图的实时生成时代:速度跟打字一样快,图像瞬间呈现的详细内容,更多请关注其它相关文章!


# 最全  # 衡阳网络推广做网站  # 网站的整体优化执行  # 惠阳网站建设服务  # 塔吊公司网站建设方案  # 支付网站建设费账务处理  # 阳谷聊城网站建设公司  # 侯镇网站推广找哪家  # 洗发水营销推广文案  # 安徽推广设计招聘网站  # 广州seo优化广告  # 展示了  # 模型  # 等功能  # 句话  # 所示  # 站上  # 进行了  # 开源  # 腾讯  # 瞬间  # stable diffusion  # 数据 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 苹果16系统有哪些系列  安卓手机怎么打开5g  j*a数组怎么比较abc  苹果16更新了哪些功能  为什么要出折叠屏手机  固态硬盘 如何分区  划水是什么意思  typescript和nodejs哪个好  折叠屏手机好不好,耐不耐用  美食音乐每日推荐怎么写  soup是什么意思  基金市盈率是什么意思  put linux命令如何书写  选哪个折叠屏手机好  typescript怎么加号  苹果16颜色有哪些  爱奇艺中下载的视频怎么在PPT中播放操作方法  drawing是什么意思  如何看固态硬盘信息  花呗征信不好如何恢复 如何修复不良的花呗征信  oppo手机nfc功能是什么意思  vue中datediff函数怎么用  固态硬盘如何保存  typescript如何标记私有方法  html怎么使用typescript  如何在昇腾Ascend 910B上运行Qwen2.5教程  单片机引脚怎么改成上拉  新的固态硬盘如何分区  市盈率20a21e是什么意思  春运抢票软件哪个好  单片机怎么储存和显示  如何固态硬盘4k对齐  苹果16多有哪些功能  typescript是什么软件  power在充电器上是什么意思  openwrt有哪些功能  如何通过命令行启动tomcat  ready是什么意思  忐忑不安是什么意思  空调主板单片机怎么拆开  如何通过命令检测u盘启动  苹果16有哪些改装模式  typescript是什么时候出来的  165开头的是什么电话号码  51单片机贴片怎么*  excel中datediff函数怎么用  爱奇艺fun会员可以几个人用?  春运预约抢票能抢到吗  按键精灵datediff函数怎么用 如何使用按键精灵中的Datediff函数教程  sausage是什么意思 

搜索