【Lora炼丹术】国庆节去哪玩？炼个丹儿玩！人像lora炼制（2）

白马与少年

Stable Diffusion、Blender等学习心得分享公众号：白马与少年

2023-10-01浏览 138101,837 字 · 约 6 分钟

…

上一篇：【Lora炼丹术】从零开始，炼制你的第一个LoRA（1）

相信很多人在刚开始接触sd的时候都有过这样的想法，给自己的家人、男女朋友、或者是某个喜欢的明星炼上一丹，然后就可以给他们换上各样的服装、各样的背景、甚至带他们环游世界。马上就是国庆长假了，不想出门的朋友看好了，漂亮的旅游照就是动动鼠标的事。昨天，我在家给小朋友整理照片的时候，心血来潮就顺手给他炼了一丹。

#01

准备训练集

给人物炼lora首先就是训练集的准备，越清晰质量越高的就越好，特别是脸部。比如我的手机在拍室内的全身人物的时候，由于光线不足，脸部放大一点就会很模糊。所以有条件的朋友可以准备一台尼康，先好好的先为你的对象拍上一组写真，因为训练集的好坏直接决定了最后AI的出图效果。

我挑选了20张照片，都是一些平时用手机拍摄的生活照，但是小朋友长得太快了，最近几个月的还能一起用，再久远一些的感觉差距都挺大的了，个头脸型都变了。

挑选的照片尽量不要有物体遮挡脸部；尽量不要有太大的透视，以免影响AI对人物身体比例的判断；尽量包含面部特写、半身照、全身照、正面、侧面、背面等不同的视角，这样可以让lora比较立体，不然只会画一个角度也挺尴尬的。

比如下面这几张，照片中有面部遮挡，有透视关系，就最好不要选入到训练集中。

然后就是图片的裁剪，有一些画面内容太杂乱的，可以把多余的部分去掉，让人物出现在画面主体位置，以免影响AI识别。

这里给大家推荐一个可以批量裁图的网站https://www.birme.net/?target_height=768，我们设定好一个尺寸，然后调整画面位置，直接导出就好了。

#02

打标

选一个基础大模型，我使用的是“麦橘写实”，然后填一个lora的名字。

准备好之后，将照片导入到丹炉，选择适合的分辨率，可以勾选“脸部加强训练”，然后点击“预处理”。其实这里有一个自动的裁剪模式，但是我试过觉得自动的不太靠谱，所以还是手动裁吧。

预处理之后，就会出现一个脸部的文件夹，和一个整体的文件夹，并且每一张照片都已经自动打好了tag标签。

我们可以给整体添加统一的标签，也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片，告诉它画面里面有什么。这里要注意的是，如果你想让这个特征成为人物的固定的效果，你就不要填写这个关键词。比如我不描写他的发型，只描写他的头发颜色，那么后期出图的时候，他的发型就不能被改变，但是头发颜色却可以被改变。

这个过程挺漫长的，每一张图片都要仔细检查，打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化，就尽量描述的详细一些吧。

#03

参数调整

前面两个环节比较重要，这个参数调节其实就可以佛系一点了。大部分参数是固定的，主要的几个按照我之前讲解过的人物参数配置一遍就可以了，后期再根据生成的结果来调整。

设置好之后就可以开始训练了。

#04

炼丹

18张脸部图片，20张整体图片，各训练50步，循环训练10次，并行步数为1，所以训练总步数为19000，训练时长为45分钟，loss值为0.0769。

从数值上来看是个不错的丹，但具体好坏还是要我们自己通过测试来判断，毕竟像不像只有我们自己知道。

#05

测试

我们首先利用xyz脚本对生成的一共10个丹进行权重测试，逐步来缩小范围。不过实际上也不需要全部进行测试，因为一般情况下，前三个丹都是不太像的，也就是不拟合；权重0.1—0.4也不会太像，0.6以后会好一点，所以如果想要节省时间，我们可以少测试一些。

变换不同的提示词将范围逐渐缩小，从近景上来看，6789号丹在0.8和0.9权重下的表现还不错。

最终，目标锁定在了6号和9号两枚丹上，不过最后的呈现效果受参数影响也很大。

我又测试了一下不同的采样方法，对比下来6号丹在DPM++2M Karras上的表现最佳，接下来就可以开始正式的提示词出图了。

#06

出图

以前打比赛的时候，赛事方摄影师说“你儿子这头发挺潦草的”。看看这炼丹的成果，发型是真够还原的，主打一只潦草小狗。你们能看出来这些图哪些是真人，哪些是AI吗？分享到这里告一段落，对丹炉感兴趣的朋友，可以添加我的公众号【白马与少年】，回复【炼丹】即可。 -END-
我的最新课程《Stable Diffusion零基础入门宝典》已经上架CCtalk，正在持续更新中，前100名报名立减100，目前还剩不到30个名额，想学习的朋友抓紧哦，想报课的朋友长按下方图片识别二维码，可以进入购买链接>>>