在标准的UNet结构中，long skip connection上的scaling系数

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

一般为1。

然而，在一些著名的扩散模型工作中，比如Imagen， Score-based generative model，以及SR3等等，它们都设置了，并发现这样的设置可以有效加速扩散模型的训练。

质疑scaling然而，imagen等模型对skip connection的scaling操作在原论文中并没有具体的分析，只是说这样设置有助于加速扩散模型的训练。

首先，这种经验上的展示，让我们并搞不清楚到底这种设置发挥了什么作用？

另外，我们也不清楚是否只能设置，还是说可以使用其他的常数？

不同位置的skip connection的「地位」一样吗，为什么使用一样的常数？

对此，作者有非常多的问号……

图片

理解Scaling

一般来说，和ResNet以及Transformer结构相比，UNet在实际使用中「深度」并不深，不太容易出现其他「深」神经网络结构常见的梯度消失等优化问题。

另外，由于UNet结构的特殊性，浅层的特征通过long skip connection与深层的位置相连接，从而进一步避免了梯度消失等问题。

那么反过来想，这样的结构如果稍不注意，会不会导致梯度过猛、参数(特征)由于更新导致震荡的问题？

图片

通过对扩散模型任务在训练过程中特征和参数的可视化，可以发现，确实存在不稳定现象。

参数（特征）的不稳定，影响了梯度，接着又反过来影响参数更新。最终这个过程对性能有较大的不良干扰的风险。因此需要想办法去控制这种不稳定性。

进一步的，对于扩散模型。UNet的输入是一个带噪图像，如果要求模型能从中准确预测出加入的噪声，这需要模型对输入有很强的抵御额外扰动的鲁棒性。

论文：https://arxiv.org/abs/2310.13545

代码：https://github.com/sail-sg/ScaleLong

研究人员发现上述这些问题，可以在Long skip connection上进行Scaling来进行统一地缓解。

从定理3.1来看，中间层特征的震荡范围（上下界的宽度）正相关于scaling系数的平方和。适当的scaling系数有助于缓解特征不稳定。

不过需要注意的是，如果直接让scaling系数设置为0，确实最佳地缓解了震荡。（手动狗头）

但是UNet退化为无skip的情况的话，不稳定问题是解决了，但是表征能力也没了。这是模型稳定性和表征能力的trade-off。

图片

类似地，从参数梯度的角度。定理3.3也揭示了scaling系数对梯度量级的控制。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

图片

进一步地，定理3.4还揭示了long skip connection上的scaling还可以影响模型对输入扰动的鲁棒上界，提升扩散模型对输入扰动的稳定性。

成为Scaling

通过上述的分析，我们清楚了Long skip connection上进行scaling对稳定模型训练的重要性，也适用于上述的分析。

接下来，我们将分析怎么样的scaling可以有更好的性能，毕竟上述分析只能说明scaling有好处，但不能确定怎么样的scaling最好或者较好。

一种简单的方式是为long skip connection引入可学习的模块来自适应地调整scaling，这种方法称为Learnable Scaling (LS) Method。我们采用类似SENet的结构，即如下所示（此处考虑的是代码整理得非常好的U-ViT结构，赞！）

图片

从本文的结果来看，LS确实可以有效地稳定扩散模型的训练！进一步地，我们尝试可视化LS中学习到的系数。

如下图所示，我们会发现这些系数呈现出一种指数下降的趋势（注意这里第一个long skip connection是指连接UNet首尾两端的connection），且第一个系数几乎接近于1，这个现象也很amazing！

图片

基于这一系列观察（更多的细节请查阅论文），我们进一步提出了Constant Scaling (CS) Method，即无需可学习参数的：

CS策略和最初的使用的scaling操作一样无需额外参数，从而几乎没有太多的额外计算消耗。

虽然CS在大多数时候没有LS在稳定训练上表现好，不过对于已有的策略来说，还是值得一试。

上述CS和LS的实现均非常简洁，仅仅需要若干行代码即可。针对各(hua)式(li)各(hu)样(shao)的UNet结构可能需要对齐一下特征维度。（手动狗头+1）

最近，一些后续工作，比如FreeU、SCEdit等工作也揭示了skip connection上scaling的重要性，欢迎大家试用和推广。

以上就是几行代码稳定UNet ! 中山大学等提出ScaleLong扩散模型：从质疑Scaling到成为Scaling的详细内容，更多请关注其它相关文章！

# 训练  # 网站建设 新闻  # 外管局网站建设路  # 潮州网站建设设计公司  # 智慧地摊网站建设  # 网站计划品牌推广方案模板  # vue官方seo配置  # 新能源  # 所示  # 是说  # 日韩  # 第一个  # 的是  # 省电  # 不稳定  # 几行  # 中山大学  # 模型  # 玉溪网站推广报价  # seo如何转型做产品  # 普洱网站推广网络营销  # dong wan seo korea 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 国标控制器单片机怎么接线  如何用好typescript  为什么都用typescript  东芝固态硬盘如何保修  数组和J*A怎么打  一分钟等于多少秒  ka是什么意思  如何创建sql命令  如何进入安卓命令行  移动固态硬盘如何使用  固态硬盘如何4k对其  如何通过命令行启动tomcat  夸克投屏为什么那么卡  光刻机的分类及其优缺点  折叠手机屏易坏吗为什么  一天多少分钟  空调主板单片机怎么拆开  如何以命令符运行程序  丰田type-c接口是什么  typescript的文件如何执行  照相机上面power是什么意思  抖音GMV是什么_抖音GMV是什么意思  typescript如何定义变量  夸克解压什么意思  宵衣旰食是什么意思  如何在一串数字前面去掉四位数的命令  苹果的type-c接口是什么  vs怎么编写typescript  交管12123协议头不完整是什么原因  cmd如何定时执行命令  单片机计数程序怎么写  vi命令如何退出  固态硬盘如何接主机  春运抢票在哪儿抢票  路亚竿上的power是什么意思  如何用命令行连接本地数据库  typescript如何生成uuid  学typescript要求什么  typescript参数怎么用  市盈率和市净率是什么意思  如何打开管理员命令提示符  点焊机接触器上power是什么意思  华为如何面对苹果16  更换固态硬盘如何检查  怎么在爱奇艺中投屏到电视最新方法  j*a 怎么清空数组元素  命令行ftp如何创建目录  折叠屏手机哪款最好  分销是什么意思  市盈率20a21e是什么意思