【Stable Diffusion】最强控制插件ControlNet(2)姿态约束

当前位置:首页>设计文章>人工智能>【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
上一次,我们讲解了ControlNet里面关于线条约束类预处理器和模型的运用,今天我们来了解一下姿态约束类的模型。
姿态约束类:它可以通过生成的骨架来规定绘图中人物的动作和表情。
  • openpose:可以直接解析出人物的动作骨架。

【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
之前给大家演示过了一个模仿库里打球的女孩绘图,就是使用的ControlNet的openpose预处理器。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
而最新的ControlNet1.1版本,除了身体姿态以外还增加了更详细的脸部和手部的预处理器。

【Stable Diffusion】最强控制插件ControlNet(2)姿态约束

当然,这些所有的预处理器对应的模型都是openpose。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
  • openpose_face:解析姿态和脸部
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
使用的AbyssOrangeMix2模型做演示,风格不一样,但是还原了人物的表情和动作。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
  • openpose_faceonly:仅解析脸部
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
测试了一下,这个面部识别只对真人和2.5D的形象可以识别,卡通二次元角色不起作用。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
  • openpose_hand:解析姿态和手部
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
有了手部的骨架控制,可以一定程度上解决AI一直以来不会画手的问题,但是当手部骨架与身体骨架重合的时候,还是会产生一些问题,要通过多刷图来筛选。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
  • openpose_full:解析姿态、手部及脸部
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
包含了所有人物信息的预处理器,我们再次请出库里当一下模特,模型使用的国风3,这个动作的模仿也是让人不得不佩服AI的脑洞了。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
这张图蛮好看的,我决定来把她细化一下。
首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束

这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。

【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
完美。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?
答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。
我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。

【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
拖动鼠标左键可以旋转视角。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
拖动鼠标中键可以缩放视角
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
拖动鼠标右键可以拖动视角。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
如果玩坏了,可以点击这里重置镜头和动作。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
我们调一个玛丽琳梦露的经典动作来试一试,右边可以调整出图的尺寸。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
接下来启用ControlNet,因为骨架图是从posex链接过来的,所以这里不需要再添加图片,也不需要预处理器,直接加载openpose的模型就可以了。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
依旧是国风3模型,点击生成,这个姿势就绘制出来了。当然,AI的识别不会这么准确,经常会出现骨骼错位的崩坏图,所以需要你耐心的去刷图和调整参数。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
好了,今天我们介绍了ControlNet中关于姿态约束类的预处理器和模型。
另外,我这边还收集了一些不同的pose的骨架图,可以在人物动作上做一些参考,有需要的可以添加我的公众号【白马与少年】,回复【SD】即可。
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
END
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
我是一个IP设计师
【Stable Diffusion】最强控制插件ControlNet(2)姿态约束
长按二维码识别

喜欢的话,可以点支持一下哦~

除非注明,否则均为UIED用户体验学习平台-白马少年的原创文章,转载必须以链接形式标明本文链接

本文链接:https://www.uied.cn/24171.html

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
人工智能

他是MJ吗,还是搭档?

2023-7-14 19:11:30

人工智能

【Stable Diffusion】最强控制插件ControlNet(3)深度约束

2023-7-14 20:10:23

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索