【Stable Diffusion】来了来了！属于SDXL的ControlNet模型它终于来了！（测评）

白马与少年

Stable Diffusion、Blender等学习心得分享公众号：白马与少年

2023-09-13浏览 239951,407 字 · 约 5 分钟

…

千呼万唤始出来！就在昨天，WebUI的ControlNet1.1.4版本终于更新，这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情，打开了网站开始下载模型。这次总共出了四种控制类型，分别是Canny、Depth、Sketch和Openpose。

来到Hugging Face的网址：https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型，当然，我们不需要全部都下载下来，因为它们之间有很多功能是重复的，是不同的作者做出来的。

但是呢，为了帮你们提前踩雷，我把他们全部都下载了，而且逐个做了测试，看到我这么辛苦的份上，你们一定会要给我一个“点赞”和“在看”的吧。

接下来，让我们来分类看一下吧。

#Canny硬边缘

首先是canny，它有几个不同的型号，体积越大，速度越慢。

我使用的是4080ti的笔记本进行的测试，12G显存。

模型sdxl base+refiner
提示词：masterpiece,best quality,1girl
采样方法：euler a
尺寸1024*1024

使用diffusers的2.5Gfull模型绘制的图片，一张图花了2分57秒，从这个效率上来看，这个大尺寸基本可以弃了。

使用diffusers的320Mb的small模型，用时34s，质量上差距不大，主要是时间优势很明显。

我们可以再看看其他作者的，这张是kohya的，用时33秒，更接近真实质感。

sai的canny分为128lora和256lora，分别用时39秒和1分08秒，这个模型比较偏绘画的感觉。

最后还有一个t2i的canny模型，用时34s，也是偏插画一点。

你们觉得哪个效果更好呢？时间上基本都在30秒以上，如果关掉refiner的话，能节省一半左右的时间，平均在17秒左右。
#Depth深度 接下来测试一些depth模型，图形尺寸664*1024。

使用diffusers的full模型，用时2分48秒，sdxl给我随机到了一个拼贴画的风格。

使用diffusers的small模型，用时23s。

使用kohya模型，用时42秒。这……好像和我的图片没什么关系。

使用sai模型，用时1分12秒，画质还可以，稍微有点慢。

使用sargezt模型，奇奇怪怪，没什么关系，用时1分52秒。

# Sketch草图 接下来测试一下sketch模型，画一只可爱的小猫，图形尺寸1024*624。

使用kohya模型，用时30秒，这是个啥？？？

使用sai模型，没找到小猫具体的位置，用时32秒，画质还可以。

使用t2i模型，用时28秒，唯一一个准的。

# Openpose骨架 最后测试一下openpose模型，图形尺寸1024*624。

使用kohya模型，画很好看，但姿势不对，用时40秒。

使用thibaud模型，动作有那么点意思了，但是时间太慢了，用时2分12秒。

#总结 最后说下结论吧，没有权威性，全凭主观感受。在canny模型中，我推荐使用“diffusers_xl_canny_small”，出图快，效果也还不错；depth模型中，我推荐使用“diffusers_xl_depth_small”，理由同上，其实“sai_xl_depth_128lora”效果也不错，但是渲染时间太长了，当然这个不是模型的问题，是我的问题，因为我买不起那么好的电脑；Sketch模型中，我推荐使用“t2i-adapter_xl_sketch”，这是腾讯家出品的，起码还挺还原的；openpose模型中，推荐“thibaud_xl_openpose_256lora”，虽然它画的不太准，但是它时间短啊，唉。。。以上就是对sdxl的controlnet在webUI中表现的测评。虽然我的测评并没有很严谨（客观原因还是sdxl对机能的要求太高了），但是总体的成功率感觉还是太低了。而且因为sdxl模型支持多种画风，所以在我的提示词中并没有给出具体要求的情况下，controlnet的结果是千变万化的。
对于这次controlnet在sdxl上的表现你觉得怎么样呢？把你的感想写在下面留言区吧。
我会把我觉得比较好的几个放在网盘里面，没必要都用了，占地方。想要完整测试其他的模型的朋友可以去官网下载一下，关注我的公众号【白马与少年】，发送【SDXL】即可获取链接。 -END-
我的最新课程《Stable Diffusion零基础入门宝典》已经上架CCtalk，正在预售中，前100名报名立减100，想了解的朋友长按下方图片识别二维码，可以进入购买链接>>>