很快啊，“文生图新王”stable diffusion 3的技术报告，这就来了。

全文一共28页，诚意满满。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

“老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力：

所以，SD3这比DALL·E 3和Midjourney v6都要强的文字以及指令跟随技能，究竟怎么点亮的？

技术报告揭露：

全靠多模态扩散Transformer架构MMDiT。

通过对图像和文本表示分别应用不同组权重的方法，实现了比之前版本更强大的性能提升，这是成功的关键。

具体几何，我们翻开报告来看。

微调DiT，提升文本渲染能力

在发布SD3之初，官方就已经透露它的架构和Sora同源，属于扩散型Transformer——DiT。

现在答案揭晓：

由于文生图模型需要考虑文本和图像两种模式，Stability AI比DiT更近一步，提出了新架构MMDiT。

这里的“MM”就是指“multimodal”。

和Stable Diffusion此前的版本一样，官方用两个预训练模型来获得合适和文本和图像表示。

其中文本表示的编码用三种不同的文本嵌入器（embedders）来搞定，包括两个CLIP模型和一个T5模型。

图像token的编码则用一个改进的自动编码器模型来完成。

由于文本和图像的embedding在概念上完全不是一个东西，因此，SD3对这两种模式使用了两组独立的权重。

（有网友吐槽：这个架构图好像要启动“人类补完计划”啊，嗯是的，有人就是“看到了《新世纪福音战士》的资料才点进来这篇报告的”）

言归正传，如上图所示，这相当于每种模态都有两个独立的transformer，但是会将它们的序列连接起来进行注意力操作。

这样，两种表示都可以在自己的空间中工作，同时还能考虑到另一种。

最终，通过这种方法，信息就可以在图像和文本token之间“流动”，在输出时提高模型的整体理解能力和文字渲染能力。

并且正如之前的效果展示，这种架构还可以轻松扩展到视频等多种模式。

具体测试则显示，MMDiT出于DiT却胜于DiT：

它在训练过程中的视觉保真度和文本对齐度都优于现有的文本到图像backbone，比如UViT、DiT。

重新加权流技术，不断提升性能

在发布之初，除了扩散型Transformer架构，官方还透露SD3结合了flow matching。

什么“流”？

如今天发布的论文标题所揭露，SD3采用的正是“Rectified Flow”（RF）。

这是一个“极度简化、一步生成”的扩散模型生成新方法，入选了ICLR2025。

它可以使模型的数据和噪声在训练期间以线性轨迹进行连接，产生更“直”的推理路径，从而可以使用更少的步骤进行采样。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

基于RF，SD3在训练过程中引入了一张全新的轨迹采样。

它主打给轨迹的中间部分更多权重，因为作者假设这些部分会完成更具挑战性的预测任务。

通过多个数据集、指标和采样器配置，与其他60个扩散轨迹方法（比如LDM、EDM和ADM）测试这一生成方法发现：

虽然以前的RF方法在少步采样方案中表现出不错的性能，但它们的相对性能随着步数的增加而下降。

相比之下，SD3重新加权的RF变体可以不断提高性能。

模型能力还可进一步提高

官方使用重新加权的RF方法和MMDiT架构对文本到图像的生成进行了规模化研究（scaling study）。

训练的模型范围从15个具有4.5亿参数的模块到38个具有80亿参数的模块。

从中他们观察到：随着模型大小和训练步骤的增加，验证损失呈现出平滑的下降趋势，即模型通过不断学习适应了更为复杂的数据。

为了测试这是否在模型输出上转化为更有意义的改进，官方还评估了自动图像对齐指标（GenEval）以及人类偏好评分（ELO）。

结果是：

两者有很强的相关性。即验证损失可以作为一个很有力的指标，预测整体模型表现。

此外，由于这里的扩展趋势没有出现饱和迹象（即即随着模型规模的增加，性能仍在提升，没有达到极限），官方很乐观地表示：

未来的SD3性能还能继续提高。

最后，技术报告还提到了文本编码器的问题：

通过移除用于推理的47亿参数、内存密集型T5文本编码器，SD3的内存需求可以显著降低，但同时，性能损失很小（win rate从50%降到46%）。

不过，为了文字渲染能力，官方还是建议不要去掉T5，因为没有它，文本表示的win rate将跌至38%。

那么总结一下就是说：SD3的3个文本编码器中，T5在生成带文本图像（以及高度详细的场景描述图）时贡献是最大的。

网友：开源承诺如期兑现，感恩

SD3报告一出，不少网友就表示：

Stability AI对开源的承诺如期而至很是欣慰，希望他们能够继续保持并长久运营下去。

还有人就差报OpenAI大名了：

更加值得欣慰的是，有人在评论区提到：

SD3模型的权重全部都可以下载，目前规划的是8亿参数、20亿参数和80亿参数。

速度怎么样？

咳咳，技术报告有提：

80亿的SD3在24GB的RTX 4090上需要34s才能生成1024*1024的图像（采样步骤50个）——不过这只是早期未经优化的初步推理测试结果。

报告全文：https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf 。
参考链接：
[1]https://stability.ai/news/stable-diffusion-3-research-paper。
[2]https://news.ycombinator.com/item?id=39599958。

以上就是Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节的详细内容，更多请关注其它相关文章！

# mmdit  # 龙华网站优化策略研究所  # 网站优化要排首页吗  # SEO三种直接方式  # 阳江市大灯翻新关键词排名  # 商城网站建设怎么做  # 自己的  # 过程中  # 最好用  # 开源  # 之初  # 三大  # 两种  # 还能  # 这是  # 的是  # midjourney  # stable diffusion  # sora  # 文生图模型  # sd3  # 对大型网站优化的技术  # 兴庆区智能网站建设招标  # 合肥商城网站建设公司  # 金华网站关键词优化服务  # 福州seo和网络推广 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 今天是农历多少号  js怎么设置typescript  NoSQL数据库有哪些特点  如何进入 dos 命令行  为什么要用typescript6  typescript解决了什么  如何将系统移到固态硬盘  youtube受限模式是什么_youtube受限模式是什么意思  学typescript需要什么基础么  电瓶车的power是什么意思  i5 6500怎么装win7  如何为服务器配置静态路由？服务器配置静态路由详细教程  如何在命令行写j*a程序  j*a怎么声明byte数组  苹果16系统有哪些功能  市盈率是什么意思高好还是低好  为什么都做折叠屏手机呢  一秒是多少毫秒  破太岁是什么意思  单片机for循环怎么用  nosql数据库的应用场景有哪些  手机拍电脑屏幕有条纹怎么解决  华为交换机如何复制命令行  固态硬盘 如何分区  爱奇艺vip会员可以同时几个人用？  忐忑不安是什么意思  苹果ipad爱奇艺怎么投屏到电视  启辰星power标志是什么意思  夸克还原排版是什么意思  折叠手机内屏为什么会坏  夸克学习都有什么课程  typescript怎么解析vue TypeScript在vue中的使用最新解读  单片机怎么进行排序操作  夸克为什么会变小  typescript怎么加号  位置控制单片机怎么用的  j*a数组怎么取元素  element ui的好处  vue项目如何用typescript  cron表达式在线工具有哪些  哪些明星在用苹果16  ready是什么意思  mysql的datediff函数怎么用  云笔记本电脑有什么用  如何选购ssd固态硬盘  如何修改cad中的命令  课程伴侣电脑怎么登录  春运抢票多久能知道成功  单片机是怎么计时的  vivo怎么投屏到电视看爱奇艺教程