Stable Diffusion | ControlNet控制：midjourney没有的功能

Controlnet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。SD搭配上ControlNet之后，就可以做到精准控图了，这个是midjourney目前还不能做到的一点。

一、界面介绍：

• 上传参考图，可以理解为底图，参考图不是必须的，如果ControlNet里不填入参考图，预处理器会根据图生图里的参考图来做参考。
• 启用 (Enable): 勾选此选项后，点击“生成”按钮时，ControlNet 才会生效。
• 低显存模式(Low VRAM)：如果你的显卡内存小于等于4GB，建议勾选此选项。
• 完美像素模式:如果你的图片不是512*512尺寸，那么勾选完美像素尺寸 (pixel perfect) 后系统会自己去做像素的匹配
• 允许预览: 勾选该按钮，在点击红色爆炸按钮爆炸，可以预览生成的引导图。

  例如: 如果使用 Canny 作为预处理器，那么点击该按钮之后，可以看到一张通过 Canny 模型提取的边缘线图片。

• 控制类型：下面单独解读。
• 预处理器 (Preprocessor) : 在此列表我们可选择需要的预处理器。
• 模型 (Model): 该列表内的模型必须与预处理选项框内的名称选择-一致，才能保证正确生成预期结果。如果预处理与模型不一致其实也可以出图，但效果无法预料，且一般效果并不理想。

请注意，在图像已经是预处理后格式的图，譬如openpose生成的骨架图，那么预处理器可以为空，但模型不能为无。

• 权重(Weight)：代表使用 ControlNet 生成图片时被应用的权重占比一般默认不变。
• 引导介入时机/介入步数 (Guidance Start) : 结合采样步数来理解，步数代表生成一张图片要刷新计算多少次，引导介入步数设置为 0 即代表开始时就介入，默认为 0;设置为 0.5 时即代表 ControlNet 从 50% 步数时开始介入计算。
• 引导退出时节/终止步数: 和引导介入时机相对应，如设置为1，则表示在100%计算完时才会退出介入也就是不退出，默认为 1;可调节范围0-1，如设置为 0.8 时即代表从80% 步数时退出介入。

下面重点来说一下控制类型：

1、canny边缘检测

很好识别出图像内各对象的边缘轮廓，常用于生成线稿

预处理器分辨率数值越高越精细，也越吃显存。但如果数值太低生成的线条也会很粗糙。默认512，具体设置时需根据素材大小和实际情况来做权衡。

长和宽的阈值:这个值越高线条越简单，越低线条越复杂。

2、lineart线稿提取

Lineart 精细线稿提取，跟canny类似，相较于 Canny，Lineart 提取的线稿更加精细，细节更加丰富;有了它之后，基本不怎么用canny了。

3、depth深度提取

识别输入图像的深度信息。常用来控制空间距离的，类似生成一张深度图。一般用在较大纵深的风景，可以更好表示纵深的远近关系。(越白的越靠前，越黑的越靠后。)

4、softedge_HED边缘检测

可保留更多柔和的边缘细节，类似手绘效果。(跟Canny 类似，但边缘更柔和。)

5、MLSD直线段检测

适用于生成房间、直线条的建筑场景,但是对曲线不好，丢失曲线细节

6、normal-map法线提取

用于识别输入图像的法线信息

根据原始素材生成一张记录凹凸信息的法线贴图，并以法线为参考绘制出一副新图，光影处理和细节的保留更加的精确。

7、scribble-hed线稿涂鸦

适合直接使用线稿作画，边缘较粗。

8、openpose提取动作

提取人的姿势生成

OpenPose 姿态检测可生成图像中角色动作姿态的骨架图

9、seg语义分割

语义分割可多通道应用，原理是用颜色把不同类型的对象分割开，让AI能正确识别对象类型和需求生成的区界。

10、inpaint蒙版局部重绘

精准的对图像进行局部重绘,常用语换装。

11、tile分块重采样

在不改变构图的情况下，增加描绘的细节

• 主要用法:放大、修复、细节增强
• 模糊草图高清重绘
• 表情包高清重绘
• 真人照片细节修复 (保留色彩)
• 综合运用:线稿细化上色

公众号回复「KKSD」获取SD资料包！

免责声明：以上资源皆来源于互联网公开分享的内容，仅用于个人学习使用，请禁止用于商业用途和倒卖，如真正需要，请支持版权方。