Stable Diffusion | 先解决IP-Adapter错误问题，再说另外一个新模型

AIGC
23年11月20日
编辑

汪鑫海汪鑫海

SD ControlNet1.1.4新增两个基于底模SD1.5的控制类型：Recolor (重上色)，Revison（修正）和IP-Adapter（适配），模型下载方式放在了文末，这边测试一下。今天主要是解决IP-Adapter报错问题，就测试一下Recolor (重上色)和IP-Adapter（适配），Revison（修正）是升级版的reference，前面的文章有讲过，后面再详细测试下。

Stable Diffusion | 先解决IP-Adapter错误问题，再说另外一个新模型

1、IP-Adapter

这个IP-Adapter刷新几次都是抛出异常错误的问题，没有办法使用，在网上一看好多同学遇到这种问题，也有人解决了，但是真的分享解决办法的人不多。

这张报错图的意思我解读的意思是，将抱脸网中下载的bin模型，放入到clip vision文件夹中，并改名为clip_h.pth，这里会出现两个错误，第一下载bin模型报错，第二下载好了bin模型没有改名称。

这边直接说一下安装流程，直接在对应文件夹，放入我已经下载好的control net模型和clip名称的模型，应该不会出现这个错误，两步就可以了。

1、将IP-Adapter模型（Recolor 和Revison一样）放入：根目录\extensions\sd-webui-controlnet\models

2、将clip_g.pth和clip_h.pth模型放入：根目录\extensions\sd-webui-controlnet\annotator\downloads\clip_vision

以上模型在文末的云盘。

保险起见重启SD，也可以直接刷新一下模型也可以。就可以能够正常启用了。

如果以上都不能解决问题，请更新一下pytorch版本。打开秋叶启动器，在“高级选项”-“环境维护”-选择至少torch2.0.0版本及以后的版本安装更新。

这个功能可以识别艺术风格和图片内容，然后搭配controlnet其他的控制器，达到人物，场景等风格迁移，参考图片风格将会适配到要生成的图片中，下面简单展示一下：

先生成一张图片

然后找到一个迪士尼卡通风格的图片作为参考，将这张图片转换为迪士尼卡通风格，

参考图片上传到controlnet Unit1，选择IP-Adapter，

生成的图片上传到controlnet Unit2，控制类型Canny，

其余的设置不变，生成图片：

这效果都相当于一半个LoRA了，

2、Recolor

Recolor直译重上色，主要是针对黑白图片上色和修改指定区域的颜色，

这边选择了奥黛丽赫本，由于那个年代的电影基本都是黑白电影，在我印象中他是一只以黑白的模样留在的记忆中，今天找到了几个高清黑白的4K壁纸，有需要的可以在文末下载：

直接来到controlnet，选择Recolor控制类型

预处理器：recolor_luminance（根据图片亮度调色，常见的就是黑白图）

模型：ioclab_sd15_recolor

步数：年龄多大填多少

采样方法：DPM++ SDE Karras

图片尺寸为原图片尺寸

提示词可加可不加，我这边用了几个提升画质的提示词。

正向提示词：HDR,UHD,8K,Highly detailed,best quality,masterpiece,1girl,

负向提示词：low quality,normal quality,worst quality,

点击生成：

饱和度比较低，画面还是不够生动，于是还是在正向词中加了：

正向提示词：HDR,UHD,8K,Highly detailed,best quality,masterpiece,1girl,color saturation,realistic style,character photography,exquisite skin,textured clothes,

颜色饱和，写实风，人物摄影，精致的皮肤，质感的衣服，

再生成一下，人物变得更加真实。