扩散模型凭借其在图像生成方面的出色表现，开启了生成式模型的新纪元。诸如 Stable Diffusion，DALLE，Imagen，SORA 等大模型如雨后春笋般涌现，进一步丰富了生成式 AI 的应用前景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样时间端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。

为了解决这一难题，微信视觉团队与中山大学合作，联手探究了扩散模型中的奇点问题，并提出了一个即插即用的方法，有效解决了初始时刻的采样问题。该方法成功解决了平均灰度问题，显著提升了现有扩散模型的生成能力。这一研究成果已在 CVPR 2025 会议上发表。

扩散模型在多模态内容生成任务中取得了显著的成功，包括图像、音频、文本和视频等生成。这些模型的成功建模大多依赖于一个假设，即扩散过程的逆过程也符合高斯特性。然而，这一假设并没有得到充分证明。特别是在端点处，即 t=0 或 t=1，会出现奇点问题，限制了现有方法对奇点处采样的研究。

此外，奇点问题也会影响扩散模型的生成能力，导致模型出现平均灰度问题，即难以生成亮度强或者弱的图像，如图下所示。这在一定程度上也限制了当前扩散模型的应用范围。

为了解决扩散模型在时间端点处的奇点问题，微信视觉团队与中山大学合作，从理论和实践两个方面展开了深入探究。首先，该团队提出了一个包含奇点时刻逆过程近似高斯分布的误差上界，为后续研究提供了理论基础。基于这一理论保障，团队对奇点处的采样进行了研究，并得出了两个重要的结论：1）t=1 处的奇点可以通过求取极限转化为可去奇点，2）t=0 处的奇点是扩散模型的固有特性，不需要规避。基于这些结论，该团队提出了一个即插即用的方法：SingDiffusion，用于解决扩散模型在初始时刻采样的问题。

通过大量的实验验证表明，仅需训练一次，SingDiffusion 模块即可无缝应用到现有的扩散模型中，显著地解决了平均灰度值的问题。在不使用无分类器指引技术的情况下，SingDiffusion 能够显著提升当前方法的生成质量，特别是在应用于 Stable Diffusion1.5（SD-1.5）后，其生成的图像质量更是提升了 33%

论文地址：https://arxiv.org/pdf/2403.08381.pdf

项目地址：https://pangzecheung.github.io/SingDiffusion/

论文题目：Tackling the Singularities at the Endpoints of Time Intervals in Diffusion Models

逆过程的高斯特性

为了研究扩散模型的奇点问题，需要验证全过程包含奇点处的逆过程满足高斯特性。首先定义为扩散模型的训练样本，训练样本的分布可以表示为：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

其中 δ 表示狄拉克函数。根据 [1] 中连续时间扩散模型的定义，对于任意两个时刻 0≤s,t≤1，正向过程可以表示为：

其中，，，随着时间单调的从 1 变化到 0。考虑到刚刚定义的训练样本分布，的单时刻边际概率密度可以表示为：

由此，可以通过贝叶斯公式计算逆过程的条件分布：

然而，经过的分布是混合高斯分布，难以用网络进行拟合。因此，主流的扩散模型通常假设这一分布可以由单个高斯分布拟合。

其中，为了验证这一假设，该研究在 Proposition 1 中估计了这一拟合的误差。

然而，该研究发现当 t=1 时，随着 s 趋近 1，也将趋近于 1，误差无法忽略。因此，Proposition 1 并不能证明 t=1 时的逆向高斯特性。为了解决这一问题，该研究给出了新的命题：

根据 Proposition 2，当 t=1 时，随着 s 趋近 1，将趋近于 0。由此，该研究证明了包含奇点时刻的逆过程全过程都符合高斯特性。

奇点时刻的采样

有了逆过程高斯特性的保证，该研究基于逆向采样公式对奇点时刻的采样展开了研究。

首先考虑 t=1 时刻的奇点问题。当 t=1 时，=0，下面的采样公式将出现分母除 0 的情况：

研究团队发现，通过计算极限，该奇点可以转化为可去奇点：

然而，这一极限无法在测试过程中进行计算。为此，该研究提出可以在 t=1 时刻拟合，使用 「x - 预测」，来解决的初始奇点处的采样问题。

接着考虑 t=0 时刻，高斯分布拟合的逆过程将变成方差为 0 的高斯分布，即狄拉克函数： 

其中。这样的奇异性会使得采样过程收敛到正确的数据上。因此，t=0 处的奇点是扩散模型良好的性质，并不需要规避。

此外，该研究还在附录中探讨了 DDIM，SDE，ODE 中的奇点问题。

即插即用的 SingDiffusion 模块

奇点处的采样会影响扩散模型生成图像的质量。例如，在输入高或低亮度的提示时，现有方法往往只能生成平均灰度的图像，这被称为平均灰度问题。这个问题源于现有方法忽略了 t=0 时奇点处的采样，而是在 1-ϵ 时刻使用标准高斯分布作为初始分布进行采样。然而，正如上图所示，标准高斯分布与实际的 1-ϵ 时刻的数据分布存在较大的差距。

在这样的差距下，根据 Proposition 3，现有方法等同于在 t=1 时朝着一个均值为 0 的图像进行生成，即平均灰度图像。因此，现有方法难以生成亮度极强或极弱的图像。为了解决这个问题，该研究提出了一个即插即用的 SingDiffusion 方法，通过拟合标准高斯分布与实际数据分布之间的转换来弥补这一差距。

SingDiffuion 的算法如下图所示：

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

 根据上一节的结论，该研究在在 t=1 时刻使用了 「x - 预测」方法来解决奇点处的采样问题。对于图-文数据对，该方法训练了一个 Unet来拟合。损失函数表示为：

模型收敛后，就可以按照下面的 DDIM 采样公式并使用新得到的模块采样。

DDIM 的采样公式确保了生成的符合 1-ε 时刻的数据分布，从而解决了平均灰度问题。在这一步骤之后，就可以使用预训练的模型执行后续的采样步骤，直到生成。值得注意的是，由于该方法仅参与第一步的采样，与后续的采样过程无关，因此 SingDiffusion 可以应用在绝大多数已有的扩散模型中。另外，为了避免无分类器指导操作导致的数据溢出问题，该方法还使用了以下的归一化操作：

其中 guidance 表示无分类器指导操作后的结果，neg 表示负面提示下的输出，pos 表示正面提示下的输出，ω 表示指导强度。

实验

首先，该研究在 SD-1.5、SD-2.0-base 和 SD-2.0 三个模型上验证了 SingDiffusion 解决平均灰度问题的能力。该研究选择了四个极端的提示，包括 「纯白 / 黑背景」 和 「单色线条艺术标志在白 / 黑背景上」，作为条件进行生成，并计算生成图像的平均灰度值，如下表所示： 

从表格中可以看出，该研究能够显著地解决平均灰度值问题，生成符合输入文字描述亮度的图像。此外，该研究还可视化了在这四个提示语句下的生成结果，如下图所示：

从图中可以看出，加入该方法后，现有的扩散模型能够生成偏黑或者偏白的图像。

为了进一步研究该方法对于图像质量的提升，该研究在 COCO 数据集上选择了 30,000 个描述进行了测试。首先，该研究展示了在不使用无分类器引导下，模型本身的生成能力，如下表所示：

从表格中可以看出，所提出的方法能够显著降低生成图像的 FID，并提升 CLIP 指标。值得注意的是，在 SD-1.5 模型中，该论文中的方法相比于原模型在 FID 指标上降低了 33%。

进一步地，为了验证所提出方法在无分类器引导下的生成能力，该研究还在下图中展示了在不同引导大小 ω∈[1.5,2,3,4,5,6,7,8] 下 CLIP v.s. FID 的帕累托曲线：

从图中可以看出，在相同的 CLIP 水平下，所提出的方法能够获得更低的 FID 数值，生成更逼真的图像。

此外，该研究还展示了所提出方法在不同 CIVITAI 预训练模型下的泛化能力，如下图所示：

可以看出，该研究所提出的方法仅需进行一次训练，即可轻松地应用到已有的扩散模型中，解决平均灰度问题。

最后，该研究所提出的方法还能够无缝地应用到预训练的 ControlNet 模型上，如下图所示：

从结果中可以看出，该方法能有效解决 ControlNet 的平均灰度问题。

^{参考文献：}

^{[1] Tero Karras, Miika Aittala, Timo Aila, and Samuli Laine. Elucidating the design space of diffusion-based generative models. Advances in Neural Information Processing Systems (NeurIPS), pages 26565–26577, 2025. 3}

以上就是CVPR 2025｜生成不了光线极强的图片？微信视觉团队有效解决扩散模型奇点问题的详细内容，更多请关注其它相关文章！

# sora  # 工程  # 出了  # 沙家浜电影网站建设  # 网站seo推广放心选择  # 芜湖seo推广报价多少  # 怎么有效的推广网站  # 济南推广短视频营销公司  # 如下图  # 提出了  # 即用  # 是在  # 可以看出  # 所示  # 高斯  # 这一  # 极强  # type  # controlnet  # civitai  # design  # stable diffusion  # 专业网站建设和运营  # 关键词挖掘seo  # 阳江花卉网站seo优化  # SEO出身  # 关键词seo排名定制 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 闲鱼上面的power是什么意思  为什么都做折叠屏手机呢  typescript要用什么工具  1tb等于多少mb  手机的nfc是什么功能是什么意思  折叠屏手机为什么凉凉  单片机软件keil怎么运行  如何注释typescript  光刻机的分类及其优缺点  openwrt有什么用  oppo手机nfc功能是什么意思  360n4怎么关闭锁屏壁纸  typescript怎么使用map  md5解密是什么意思  如何提高import命令的性能  typescript接口有什么用  没网环境如何安装typescript  联想手机如何输入命令行  微波炉power中文是什么意思  j*a怎么用json数组  液位传感器power是什么意思  sofa是什么意思  linux命令行如何使用中文输入法  db2命令中如何去到指定的副本  路亚竿上的power是什么意思  固态硬盘如何装入机箱  如何打开管理员命令提示符  苹果16哪些功能好用  夸克学习都有什么课程  春运抢票可以抢几次啊  推特是什么软件国内可以使用吗  win7如何打开命令行窗口  为什么夸克流畅播失败  市盈率回落是什么意思  typescript怎么写call方法  爱奇艺视频怎么下载到手机u盘怎么转换格式方法  如何设置从固态硬盘启动  typescript如何使用viewer  苹果16更新了哪些版本  如何体验苹果16系统  电脑显示器上power是什么意思  i5 6500怎么装win7  分销是什么意思  跑分是什么意思  春运辅助抢票怎么抢  wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享  三菱变频器POWER是什么意思  win7怎么装扫描仪  如何利用固态硬盘  如何修改域名解析