前言
Dreambooth Extension for Stable-Diffusion-WebUI
这是Shivam Shriao的Diffusers Repo的一个正在进行中的移植版本，该版本是基于Huggingface Diffusers Repo的默认版本进行修改的，以在低VRAM GPU（低显存显卡）上获得更好的性能。此外，还借鉴了BMaltais的Koyha SS的部分内容。它还添加了其他一些功能，包括同时训练多个概念，以及（即将推出）图像修复训练。
样式说明：灰色正文主要来自官方文档翻译，有些地方不通顺，我会做一定程度的更改。黑色正文则是我自己的理解和总结，如有错漏，欢迎斧正。
要安装，请在SD Web UI中转到“Extensions（扩展）”选项卡，选择“Available（可用）”子选项卡，选择“Load from:（从...加载）”以加载扩展列表，最后在Dreambooth条目旁边点击“install（安装）”。
安装完成后，您必须完全重新启动Stable-Diffusion WebUI。重新加载UI将无法安装所需的依赖项。
我们还需要更新版本的diffusers，因为SD-WebUI使用的是0.3.0版本，而DB训练需要>= 0.10.0版本。没有正确的diffusers版本会导致“UNet2DConditionModel”对象没有属性“enable_gradient_checkpointing”的错误消息，以及安全检查器警告。
set/exportREQS_FILE=.\extensions\sd_dreambooth_extension\requirements.txt请参考下面的适当脚本，以添加额外的标志来安装依赖项：
https://github.com/d8ahazard/sd_dreambooth_extension/blob/main/webui-user-dreambooth.sh
DREAMBOOTH_SKIP_INSTALL=True这非常适合“离线模式”，您不希望脚本不断从pypi检查内容。
通过WebUI安装后，建议设置上述标志并重新启动整个Stable-diffusion-webui，而不仅仅是重新加载它。
以上主要是安装过程的讲解，我们主要使用B站大佬的整合包，所以略读一下即可。
Dreambooth 视频教程
这个视频介绍了从头开始到高级水平使用 Web UI和DreamBooth扩展进行稳定扩散训练的教程。
内容涵盖了如何安装和更新Web UI的扩展，使用DreamBooth进行训练，准备训练数据集，检查点保存，如何处理过度训练，生成图像，以及如何使用AI进行图像升级等。此外，还介绍了如何在Google Colab中使用训练模型，进行微调和混合训练，以及如何解决内存不足错误等问题。
这个视频介绍了如何将训练好的模型注入到自定义的 Stable Diffusion 模型中，和什么是主模型、次要模型和第三方模型，如何为新注入的主题模型选择合适的提示强度和CFG值等细节教程。
这个视频主要介绍了如何降级CUDA和xformers版本以进行合适的训练，以及如何在仅具备8GB GPU的情况下进行LoRA训练。
这个视频介绍DreamBooth技术的最佳训练设置和参数，并且举了使用0-100张不同张数训练集进行训练的案例，提供了对应的xyz轴对比图。还有文本引导视图合成、属性修改和配饰添加等内容。
这个视频也是介绍各种设置和优化器的比较的，通过对比各实验的x/y/z网格图像来确定最佳训练模型。
这个视频主要是讲如何升级到Torch版本2（PyTorch 2），以实现显著的图像生成和训练速度提升。
2.在“创建模型”子选项卡下，输入一个新的模型名称，并选择要从哪个源检查点进行训练。如果您想使用HF Hub中的模型，请指定模型URL和令牌。URL格式应为 'runwayml/stable-diffusion-v1-5'
源检查点将被提取到models\dreambooth\模型名\working。
点击“创建”。这需要一两分钟的时间，但完成后，界面会提示您已经设置了一个新的模型目录。
这里是创建模型的过程，需要先选择一个基础模型，创建我们训练的基础文件，搭配上了我的界面截图对照。
Various Top Buttons 各种顶部按钮
Save Params 保存参数 - 保存当前模型的当前训练参数。
Load Params 加载参数 - 从当前选定的模型加载训练参数。可以使用此功能将参数从一个模型复制到另一个模型。
Generate Ckpt 生成检查点 - 从当前保存的权重生成一个当前版本的检查点。
Generate Samples 生成样本* - 在训练过程中点击此按钮，在下一个间隔之前生成样本。
Cancel 取消 - 在当前步骤后取消训练。
Train训练 - 开始训练
这里对应的是顶部的按钮，跟我的界面有点小区别，但是不大，不影响使用。
Model 模型 - 要使用的模型。在更改模型时，训练参数不会自动加载到用户界面。
Lora Model Lora模型 - 如果恢复训练，需要加载现有的lora检查点，或者在生成检查点时将其与基础模型合并。
Half Model 半模型 - 启用此选项以使用半精度保存模型。这将生成一个较小的检查点，而图像输出的差异几乎可以忽略不计。
Save Checkpoint to Subdirectory -将检查点保存到子目录 - 使用模型名称将检查点保存到子目录中。
Training Parameters训练参数
Performance Wizard (WIP) 性能向导（WIP） - 根据您的GPU的显存量和实例图像的数量尝试设置最佳训练参数。
可能不是完美的，但至少是一个很好的起点。
本节包含训练过程中事物发生的相关参数。
Training Steps Per Image (Epochs) 训练集的训练轮数 (Epochs) - 顾名思义，一个epoch是对整个实例图像集进行一轮训练。因此，如果我们想要将训练集训练100轮，我们可以将该值设置为100，然后就可以开始了。
在这里我先说这个参数是什么，再说调节这个参数会有什么影响，应该采用怎样的调节策略。最后详细解释具体细节：
是什么
是训练多少轮我们的训练集，可以设想一个厨师在学习制作新菜品。每次尝试制作这道菜（一个 Epoch）都会带来新的经验和教训。随着 Epoch 数的增加，厨师会更熟练地掌握这道菜的制作技巧。
"Training Steps Per Image (Epochs)" 值越小，训练时间越短，模型越可能欠拟合，还没学够。
"Training Steps Per Image (Epochs)" 值越大，训练时间越长，模型越可能过拟合，学的太多素材把其他东西都忘光了。
"Training Steps Per Image (Epochs)" 值对显存无明显影响，因为是分步训练的。
目前我的理解是设置一个较大的Epoch数，将模型训练到过拟合的地步，然后再去之前的检查点里找表现比较好的平衡点，比较方便。
在 CycleGAN 的论文中，作者通过多个 Epoch 训练模型，并对比了不同 Epoch 下生成的图像质量。结果表明，随着 Epoch 次数的增加，生成图像的质量逐渐提高。但是，当 Epoch 次数超过一定阈值时，生成图像的质量可能不再显著改善，甚至可能出现退化现象，这表明合适的 Epoch 次数对于生成高质量的图像至关重要。原文链接：[https://arxiv.org/abs/1703.10593](https://arxiv.org/abs/1703.10593)
具体细节
训练的总步数由轮数(Epochs) * 实例集图像数得出，实例集图像多，比如100张，那这一轮就是100次训练，3轮总共300次。实例集图像少，比如9张，那这一轮就是9次训练，3轮总共27次。
先举一个简单例子来理解一下：
假设我们有一个训练集，其中包含 4 张图片：A、B、C 和 D。如果我们将 "Training Steps Per Image (Epochs)" 设置为 3，那么在训练期间，每张图片将被用来训练 3 次，一共三轮，总共12次。
在这种情况下，训练过程将按以下顺序进行
使用图片 A 训练一次使用图片 B 训练一次使用图片 C 训练一次使用图片 D 训练一次使用图片B训练一次（第二轮）更换图片顺序使用图片A训练一次（第二轮）使用图片D训练一次（第二轮）使用图片C训练一次（第二轮）使用图片 D 训练一次（第三轮）更换图片顺序使用图片 B 训练一次（第三轮）使用图片A训练一次（第三轮）使用图片C训练一次（第三轮）
完成这个过程后，每张图片都被用来训练了 3 次，总共进行了 12 次训练。通过增加 "Training Steps Per Image (Epochs)" 的值，选择合适的 Epoch 数目很重要。太少的 Epoch 可能会导致模型欠拟合，而太多的 Epoch 可能会导致过拟合。
Save Model Frequency (Epochs)保存模型频率（Epochs） - 保存检查点将按每个epoch计算，而不是按步数计算。
是保存模型的频率，决定每几轮训练我们保存一次。
Save Model Frequency (Epochs)值越小，训练时间越长，磁盘空间占用越多，越可能遇到相对前后步骤来说更优秀的模型。
Save Model Frequency (Epochs)值越大，训练时间越短，磁盘空间占用越少，越容易错过对前后步骤来说更优秀的模型，极端情况下就是过程中不保存模型，训练完成才保存一次。
该怎么调节
综合自己对训练时间，和磁盘空间的预期来调整，如果训练轮数(Epochs)较大比如600轮，那么Save Model Frequency (Epochs)就不能太小，否则存几十个模型可能会占据几百G空间，也会大大拖累训练速度。
具体细节
继续上面的案例：
假设我们有一个训练集，其中包含 4 张图片：A、B、C 和 D。如果我们将设置 "Training Steps Per Image (Epochs)" = 3，Save Model Frequency (Epochs)=1，那么在训练期间，每张图片将被用来训练 3 次，每个Epochs保存1次，一共保存三次。
在这种情况下，训练过程将按以下顺序进行：
使用图片 A 训练一次使用图片 B 训练一次使用图片 C 训练一次使用图片 D 训练一次已经完成一轮(Epochs)，保存第一次。使用图片B训练一次（第二轮）更换图片顺序使用图片A训练一次（第二轮）使用图片D训练一次（第二轮）使用图片C训练一次（第二轮）第二轮(Epochs)，保存第二次。使用图片 D 训练一次（第三轮）更换图片顺序使用图片 B 训练一次（第三轮）使用图片A训练一次（第三轮）使用图片C训练一次（第三轮）第三轮(Epochs)，保存第三次。
完成这个过程后，每张图片都被用来训练了 3 次，总共进行了 12 次训练，3次保存。
下图是设置与结果的对应。
然后我们再来实验复杂一点的案例
设置训练集图片数=4， "Training Steps Per Image (Epochs)" = 100， Save Model Frequency (Epochs)=25，那么在训练期间，训练集会被训练100轮，图片集数量为4，总次数100*4=400次，每个25轮（Epochs）保存1次，一共保存4次。分别在以下节点保存
第25轮（Epoch）完成时（第100次）第50个轮（Epoch）完成时（第200次）第75个轮（Epoch）完成时（第300次）第100个轮（Epoch）完成时（第400次）
然后是更复杂的案例
设置训练集图片数=9， "Training Steps Per Image (Epochs)" = 600， Save Model Frequency (Epochs)=25，那么在训练期间，每张图片将被用来训练600 次，一共5400次，每个25Epochs，也就是25*9=225步，保存1次，一共保存24次。
第25轮（Epoch）完成时（第225次）第50轮（Epoch）完成时（第450次）......第575轮（Epoch）完成时（第5175次）第600轮（Epoch）完成时（第5400次）
Save ModelPreview (Epochs)保存预览图频率（Epochs）
Save Model Frequency (Epochs)保存预览图频率（Epochs）- 保存检查点将按每个epoch计算，而不是按步数计算。
逻辑与保存模型一致，一般设置为相同数值。生成预览图的同时会生成损失函数Loss 值曲线图，也可以设置的高频一点，更高密度的观察损失函数的变化，中途调整参数。另一张图是显存使用趋势图，控制住不炸显存就好。
Pause After N Epochs 每N个Epochs暂停 - 当设置为大于0的值时，训练将暂停指定的时间。
每个Epoch之间暂停的时间，以秒为单位 - 当N大于零时，每个“N”个Epochs之间暂停的时间，以秒为单位。
Pause After N Epochs 用于手动控制训练过程中的暂停时间，如果你需要在训练途中停下来进行评估模型、调整超参数的话，否则一般设置为0不需要动。
Amount of time to pause between Epochs在 Epochs 之间暂停的时间
Amount of time to pause between Epochs -在 Epochs 之间暂停的时间，以秒为单位 - 当 N 大于零时，在 N 个 Epochs 之间暂停多长时间，以秒为单位。
例如，设置了在每 5 个 Epochs 后暂停，即Pause After N Epochs =5，并设置暂停时长为 60 秒，即Amount of time to pause between Epochs =60那么训练将在每 5 个 Epochs 结束后暂停 60 秒，然后再继续训练。
Use Concepts使用概念
Use Concepts 使用概念 - 是否使用包含多个概念的JSON文件或字符串，或下面的单独设置。
这里的"概念"通常指一组关键词或描述，用于表示某个特定的主题或类别。
总结一下Intervals 间隔这个板块，关键点就是训练轮数Training Steps Per Image (Epochs)与Save Model Frequency (Epochs) 保存模型频率的设置，前者跟训练集图片数一起决定训练总次数，后者决定多久保存一次，一起影响训练的总时长和效果，合理搭配才能更好更快的训练出想要的模型。
Batch Size批大小
Batch size 批大小 - 同时进行的训练步数。你可能想把这个值保持在1。
Batch size 指每次处理抽取几张图片同时进行训练学习。想象一个厨师在为大量顾客制作餐点，Batch size 就像是厨师每次准备的食材的数量。较大的 Batch size 会让厨师每次处理更多食材，从而更快地为顾客提供餐点，但这可能会导致制作质量的降低。
batch size 越大，训练时长越短， 显存占用越高，随机性越低，更容易收到较差的局部最优解，泛化能力较差。
batch size 越小，训练时长越长，显存占用越少，随机性越大，更容易找到优秀的局部最优解，但容易导致训练不稳定，损失函数震荡比较大。
该怎么调
选择合适的 batch size 需要权衡训练速度、显存占用和训练效果。通常，我们可以从一个相对较小的 batch size 开始，逐渐增加，直到达到最佳性能或显存限制。这种方法称为“Batch Size 调优”。
Gradient Accumulation Steps 梯度累积步数
Class batch size 类别批大小
Set Gradients to None When Zeroing清零时将梯度设置为None
https://pytorch.org/docs/stable/generated/torch.optim.Optimizer.zero_grad.html
显存低的开启，高的可以考虑关闭，可能有轻微的性能提升，不过都影响很小，建议不用管，保持开启。
Gradient Checkpointing 梯度检查点
https://arxiv.org/abs/1604.06174v2
关闭这个功能可以提高训练速度，简化模型实现，有足够多显存的建议关闭。实在不够用的再开启。
Learning Rate 学习率
这个部分包含与学习率相关的参数。
Learning Rate 学习率
学习率 - 训练对新模型的影响力。较高的学习率需要较少的训练步骤，但容易导致过拟合。建议在0.000006到0.00000175之间选择。
学习率（Learning rate）是神经网络训练过程中的一个关键超参数，它主要用于控制模型权重更新的幅度。学习率就像是炒菜中的火候控制，如果火候太大，容易糊锅；如果火候太小，又容易导致食材不熟。
调节影响
学习率越大，权重更新幅度越大，训练速度越快，越容易过拟合，可能更不稳定，在局部最优解附近震荡，无法收敛。
学习率的调节基本不会影响显存的使用。
调节策略
在训练过程中，需要密切关注损失函数值、验证集上的性能等指标。如果发现损失函数值波动很大或者性能没有明显提升，可能需要调整学习率。
和损失函数Loss的关系
损失函数（Loss Function）是用于它是用来衡量模型预测结果与真实结果之间的差异的函数。与学习率的关系非常密切，主要体现在以下几点：
损失函数的梯度：在基于梯度的优化方法中，如梯度下降（Gradient Descent）和Adam等，模型参数的更新依赖于损失函数的梯度。学习率决定了参数更新的幅度，进而影响损失函数的下降速度。
收敛速度和稳定性：合适的学习率可以平衡模型的速度与稳定性，体现为平衡损失函数的速度与稳定性。较高的学习率可能导致模型在损失函数的最优解附近震荡，难以收敛；较低的学习率可以使模型更稳定地收敛，但训练过程可能会非常缓慢。
梯度爆炸：较高的学习率可能导致梯度爆炸，使得模型无法正常训练；较低的学习率可以降低梯度爆炸的风险，但可能需要更长时间来训练模型。
具体细节
https://www.bilibili.com/video/BV1A8411775m/
当设置为余弦退火类学习率调度器时会出现此选项。
Learning Rate Scheduler 学习率调度器 - 与学习率一起使用的调度器
学习率调度器是一种设定好的学习率变化策略，能够根据情况自动调整学习率。假设你正在使用Stable Diffusion生成一幅风景画。在开始阶段，模型需要学习大致的轮廓和色彩分布，此时学习率调度器会设置较高的学习率。随着训练进程，模型需要逐渐关注细节，学习率调度器会适时降低学习率，使模型能够更精确地学习和生成图像。
-
linear（线性）：训练过程中学习率线性递减，直至达到最小学习率。 -
linear_with_warmup（线性加热身）：训练初期进行学习率热身，达到指定步数后，学习率线性递减至最小学习率。 -
cosine（余弦）：训练过程中学习率根据余弦退火策略进行调整。 -
cosine_annealing（余弦退火）：学习率按照余弦退火策略逐渐减小，最后保持在较低的值。 -
cosine_annealing_with_restarts（带重启的余弦退火）：学习率按照余弦退火策略逐渐减小，但在达到预定周期后重启退火过程，使学习率重新增大。 -
Im cosine_with_restarts（不完全的带重启余弦退火）：类似于带重启的余弦退火，但重启周期可能不完全相同。 -
polynomial（多项式）：学习率根据多项式退火策略进行调整。 -
constant（恒定）：训练过程中学习率保持恒定，不进行调整。 -
constant_with_warmup（恒定学习率加热身）：在训练初期进行学习率热身，达到指定步数后，学习率保持恒定。
以下是大佬对其他学习调度器的优缺点解释
"Linear"线性衰减：优点：简单易用，能够稳定地将学习率降低到零。缺点：可能需要调整衰减速度和起始学习率。
"Cosine"（余弦退火）：优点：具有较好的效果，在模型训练的后期可以使学习率更加平稳地降低, 有一定的正则化效果。缺点：需要调整周期和起始学习率。
"Polynomial"（多项式退火）：优点：能够让学习率更快地降低，有一定的正则化效果。缺点：需要调整衰减速度和起始学习率
"Constant"（恒定学习率）：优点：简单易用，能够让模型快速收敛。缺点：可能会导致模型过拟合，需要手动调整学习率。
"Constantwith warmup"（带预热的恒定学习率）：优点：能够快速将学习率提高到合适的水平，有助于模型快速收敛。缺点：可能会导致模型过拟合，需要手动调整预热和恒定阶段的学习率。
https://www.bilibili.com/video/BV1rs4y1o7V8/
当学习率调度器设置为linear_with_warmup（线性加热身）、constant_with_warmup（恒定学习率加热身）等带热身的调度器时，会出现此选项。
Warmup是在 ResNet 论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps (比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。
这里是ResNet论文的链接：https://arxiv.org/abs/1512.03385
这个参数应该不是很重要，如非必要保持默认0即可。
应用场景
（1）训练出现NaN：当网络非常容易nan时候，采用warm up进行训练，可使得网络正常训练；（2）过拟合：训练集损失很低，准确率高，但测试集损失大，准确率低，可用warm uphttps://blog.csdn.net/weixin_40051325/article/details/107465843
应用原理/优势来源
这个问题目前还没有被充分证明，目前效果有：（1）有助于减缓模型在初始阶段对mini-batch的提前过拟合现象，保持分布的平稳；（2）有助于保持模型深层的稳定性。在训练期间有如下情况：（1）在训练的开始阶段，模型权重迅速改变；（2）mini-batch size较小，样本方差较大。https://blog.csdn.net/weixin_40051325/article/details/107465843
总结
虽然认真研究参数是什么确实很占据篇幅哈哈，而且即使篇幅如此之长，却也才粗略提了下相关内容，更多细节还可以展开讨论很多，就放在后面的文章再与诸君畅谈吧哈哈。
