扩散模型在图像生成方面的色彩表现中发挥了作用，推动了生成式模型的新纪元。如Stable Diffusion、DALLE、Imagen、SORA等大模型如雨后春笋般涌现，进一步丰富了生成式AI的应用背景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样样本时段端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。

为了解决这一难题，微信视觉团队与中山大学合作，联手探究了扩散模型中的奇点问题，并提出了一个即插即用的方法，有效解决了初始时刻的采样问题。该方法成功解决了平均灰度问题，显著提升了现有扩散模型的生成能力。这一研究成果已在CVPR 2025 会议上发表。

扩散模型在多模态内容生成任务中取得了显著的成功，包括图像、音频、文本和视频等生成。这些模型的成功建模大多依赖于一个假设，即扩散过程的逆过程也符合高斯特性。然而，这一假设并没有得到充分证明。特别是在端点处，即 t=0 或 t=1，会出现奇点问题，限制了现有方法对奇点处采样的研究。

此外，奇点问题也会影响扩散模型的生成能力，导致模型出现平均灰度问题，即难以生成亮度强或者弱的图像，如图下所示。这在一定程度上也限制了当前扩散模型的应用范围。

为了解决扩散模型在时间端点处的奇点问题，微信视觉团队与中山大学合作，从理论和实践两个方面展开了深入探究。首先，该团队提出了一个包含奇点时刻逆过程近似高斯分布的误差上界，为后续研究提供了理论基础。基于这一理论保障，团队对奇点处的采样进行了研究，并得出了两个重要的结论：1）t=1 处的奇点可以通过求取极限转化为可去奇点，2）t=0 处的奇点是扩散模型的固有特性，不需要规避。基于这些结论，该团队提出了一个即插即用的方法：SingDiffusion，用于解决扩散模型在初始时刻采样的问题。

通 过 大 量 的 实 验 验 证 明，仅 需 训 练 一 次，SingDiffusion 模 块 即 可 无 缝 应 用 到 现 有 的 扩 散 模 型 中，显 著 地 解 决 了 平 均 灰 度 值 的 问 题。在 不 使 用 无 分 类 器 指 引 技 术 的 情 况 下，SingDiffusion 能 够 显 著 提 升 当 前 方法 的 生 成 质 量，特 别 是 在 应 用 于 Stable Diffusion 1.5（SD-1.5）后，其 生 成 的 图 像 质 量 更 是 提 升 了 33%。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://arxiv.org/pdf/2403.08381.pdf

项目地址：https://pangzecheung.github.io/SingDiffusion/

论文题目：Tackling the Singularities at the Endpoints of Time Intervals in Diffusion Models

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

逆过程的高斯特性

为了研究扩散模型的奇点问题，需要验证全过程包含奇点处的逆过程满足高斯特性。首先定义为扩散模型的训练样本，训练样本的分布可以表示为：

其中 δ 表示狄拉克函数。根据 [1] 中连续时间扩散模型的定义，对于任意两个时刻 0≤s,t≤1，正向过程可以表示为：

其中，，，随着时间单调的从 1 变化到 0。考虑到刚刚定义的训练样本分布，的单时刻边际概率密度可以表示为：

由此，可以通过贝叶斯公式计算逆过程的条件分布：

然而，得到的分布是混合高斯分布，难以用网络进行拟合。因此，主流的扩散模型通常假设这一分布可以由单个高斯分布拟合：

其中，为了验证这一假设，该研究在 Proposition 1 中估计了这一拟合的误差。

然而，该研究发现当 t=1 时，随着 s 趋近 1，也将趋近于 1，误差无法忽略。因此，Proposition 1 并不能证明 t=1 时的逆向高斯特性。为了解决这一问题，该研究给出了新的命题：

根据 Proposition 2，当 t=1 时，随着 s 趋近 1，将趋近于 0。由此，该研究证明了包含奇点时刻的逆过程全过程都符合高斯特性。

奇点时刻的采样

有了逆过程高斯特性的保证，该研究基于逆向采样公式对奇点时刻的采样展开了研究。

首先考虑 t=1 时刻的奇点问题。当 t=1 时，=0，下面的采样公式将出现分母除 0 的情况：

研究团队发现，通过计算极限，该奇点可以转化为可去奇点：

然而，这一极限无法在测试过程中进行计算。为此，该研究提出可以在 t=1 时刻拟合，使用 「x - 预测」，来解决的初始奇点处的采样问题。

接着考虑 t=0 时刻，高斯分布拟合的逆过程将变成方差为 0 的高斯分布，即狄拉克函数： 

其中。这样的奇异性会使得采样过程收敛到正确的数据上。因此，t=0 处的奇点是扩散模型良好的性质，并不需要规避。

此外，该研究还在附录中探讨了 DDIM，SDE，ODE 中的奇点问题。

即插即用的 SingDiffusion 模块

奇点处的采样会影响扩散模型生成图像的质量。例如，在输入高或低亮度的提示时，现有方法往往只能生成平均灰度的图像，这被称为平均灰度问题。这个问题源于现有方法忽略了 t=0 时奇点处的采样，而是在 1-ϵ 时刻使用标准高斯分布作为初始分布进行采样。然而，正如上图所示，标准高斯分布与实际的 1-ϵ 时刻的数据分布存在较大的差距。

在这样的差距下，根据 Proposition 3，现有方法等同于在 t=1 时朝着一个均值为 0 的图像进行生成，即平均灰度图像。因此，现有方法难以生成亮度极强或极弱的图像。为了解决这个问题，该研究提出了一个即插即用的 SingDiffusion 方法，通过拟合标准高斯分布与实际数据分布之间的转换来弥补这一差距。

SingDiffuion 的算法如下图所示：

 根据上一节的结论，该研究在在 t=1 时刻使用了 「x - 预测」方法来解决奇点处的采样问题。对于图-文数据对，该方法训练了一个 Unet来拟合。损失函数表示为：

模型收敛后，就可以按照下面的 DDIM 采样公式并使用新得到的模块采样。

DDIM 的采样公式确保了生成的符合 1-ε 时刻的数据分布，从而解决了平均灰度问题。在这一步骤之后，就可以使用预训练的模型执行后续的采样步骤，直到生成。值得注意的是，由于该方法仅参与第一步的采样，与后续的采样过程无关，因此 SingDiffusion 可以应用在绝大多数已有的扩散模型中。另外，为了避免无分类器指导操作导致的数据溢出问题，该方法还使用了以下的归一化操作：

其中 guidance 表示无分类器指导操作后的结果，neg 表示负面提示下的输出，pos 表示正面提示下的输出，ω 表示指导强度。

实验

首先，该研究在 SD-1.5、SD-2.0-base 和 SD-2.0 三个模型上验证了 SingDiffusion 解决平均灰度问题的能力。该研究选择了四个极端的提示，包括 「纯白 / 黑背景」 和 「单色线条艺术标志在白 / 黑背景上」，作为条件进行生成，并计算生成图像的平均灰度值，如下表所示： 

从表格中可以看出，该研究能够显著地解决平均灰度值问题，生成符合输入文字描述亮度的图像。此外，该研究还可视化了在这四个提示语句下的生成结果，如下图所示：

从图中可以看出，加入该方法后，现有的扩散模型能够生成偏黑或者偏白的图像。

为了进一步研究该方法对于图像质量的提升，该研究在 COCO 数据集上选择了 30,000 个描述进行了测试。首先，该研究展示了在不使用无分类器引导下，模型本身的生成能力，如下表所示：

从表格中可以看出，所提出的方法能够显著降低生成图像的 FID，并提升 CLIP 指标。值得注意的是，在 SD-1.5 模型中，该论文中的方法相比于原模型在 FID 指标上降低了 33%。

进一步地，为了验证所提出方法在无分类器引导下的生成能力，该研究还在下图中展示了在不同引导大小 ω∈[1.5,2,3,4,5,6,7,8] 下 CLIP v.s. FID 的帕累托曲线：

从图中可以看出，在相同的 CLIP 水平下，所提出的方法能够获得更低的 FID 数值，生成更逼真的图像。

此外，该研究还展示了所提出方法在不同 CIVITAI 预训练模型下的泛化能力，如下图所示：

可以看出，该研究所提出的方法仅需进行一次训练，即可轻松地应用到已有的扩散模型中，解决平均灰度问题。

最后，该研究所提出的方法还能够无缝地应用到预训练的 ControlNet 模型上，如下图所示：

从结果中可以看出，该方法能有效解决 ControlNet 的平均灰度问题。

以上就是生成不了光线极强的图片？微信视觉团队有效解决扩散模型奇点问题的详细内容，更多请关注其它相关文章！

# ai  # 南阳新站seo关键词排名技术  # 石岩网络推广和网站制作  # 文山制造业营销推广找谁  # 北京网站推广推荐哪家好  # 宿迁seo网站优化推广  # 如下图  # 提出了  # 即用  # 出了  # 新能源  # 可以看出  # 所示  # 高斯  # 这一  # 极强  # controlnet  # civitai  # stable diffusion  # sora  # 数据  # 百度推广跟网站区别在哪  # 内蒙古网站优化好不好做  # 短视频怎么营销媒体推广  # 丽水企业网站建设方案  # 环保节能seo优化技术 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何通过命令检测u盘启动  智能锁type-c接口是什么  华为5g手机掉了怎么定位找回  url解码什么意思  云淡风轻什么意思  尼桑越野车中控前power是什么意思  performance是什么意思  汽车排量是什么意思  分享一个稳定的ao3镜像网址  跨境电商gmv是什么意思?跨境电商GMV：理解其含义、计算方法和影响因素  爱奇艺会员qq登录可以几个人用？  typescript适合什么用  360n7lite怎么设置动态壁纸  春运抢票多久可以买到票  台达变频器power灯是什么意思  docs命令如何进入d  夸克用的什么服务器  电瓶车的power是什么意思  空调主板单片机怎么拆开  固态硬盘装完如何使用  点焊机接触器上power是什么意思  linux如何用命令修改ip  固态硬盘如何保存  5r是多少钱  夸克文字口令是什么意思  固态硬盘质量如何  ip dhcp是什么意思  命令行ftp如何创建目录  夸克的答案为什么不对  华为如何面对苹果16  春运大巴上抢票怎么抢票  typescript干什么的  电动车eco和power是什么意思  命令行如何打开文件  如何用固态硬盘做缓存  春运抢票用不用取票码  sql isnull函数如何使用  光刻机的作用及工作原理  如何判断固态硬盘端口  电动车power灯亮是什么意思  sofa是什么意思  j*a怎么创建json数组  固态硬盘如何显示  如何清理固态硬盘  春运辅助抢票怎么抢  笔记本如何使用固态硬盘  如何用命令提示符显示隐藏分区  商誉是什么意思  ssd固态硬盘如何安装  typescript中文怎么读