先放LoRA炼丹训练效果图,右下角为人台衣服源训练素材。

最近讲究一个跨界内卷,太上老君都要毕业了,在体制内炼了几千年的仙丹,没有败给大圣,败给了各位熬夜肝的AI炼丹师,有的光打tag就搞几个晚上……今天就分享一下我的学习历程吧,主要是新手模式,不讲细节原理,感受一遍炼丹工作流程,有一个大概的概念。
我用的是秋叶炼丹炉,文末即可下载。
基础的工作流程大概分为4步:
1、训练集预处理
2、模型训练
3、LoRA模型检测
4、模型应用评估测试优化
这次是准备训练一个服装的LoRA,下面来一步一步的看。
1、训练集预处理
这边在网上找到的一个人台拍的连衣裙照片29张,衣服的款式是普通的款式,产品拍摄的效果也一般,褶皱多且不平整,这个不要紧,我们今天主要是用来当做训练集简单测试一下。


接下来,就是要反推出每一个图片的关键词标签,启动秋叶SD,打开导航条的训练选项,图像与处理:
- 源目录:填入训练集素材图片目录;
- 目标目录:反推后输出训练集图片和关键词文档的目录;
注意:以上路径不要有中文
宽高尺寸:由于炼丹炉的要求图片尺寸是64的倍数,上面的源训练素材图片是竖图,在PS中处理成了64的倍数,这边就填:512x768,

选择使用使用deepbooru生成标签,点击预处理按钮。
处理完成后,来到目标目录可以看到,每个图片匹配一个关键词标签文档:

在秋叶炼丹炉的主目录的train文件下面新建一个blue dress文件夹,然后将上面生成的图片+标签文件夹复制到里面,修改名称:29_blue dress,记住文件夹格式一定要:数字_xxx,不然后续训练的时候,炼丹炉不能读取这个文件夹数据。这里的训练集路径为:F:\LoRAliandanlu\train\blue dress,下面训练会用到。

二、模型训练
秋叶炼丹炉一键安装:秋叶包主打一个方便快捷,下载文末分享的:秋叶训练器解压可食用

解压后:先升级一下:点击脚本:A强制更新-国内加速,完成后,再点击:A启动脚本,一键启动。

启动之后,就出现了以下界面,这里选择左边的新手模式,以后再分享专家模式。

新手模式中设置三个位置的参数,其他先按照默认的设置,即可开始训练了。
1、训练用模型:底模文件路径

默认底模的位置在主目录的\sd-models文件夹里面。这里的模型是:model.ckpt。


如果要用其他的大模型作为底膜也可以,连带路径+模型名称+后缀输入进去,比如:G:\sd-webui-aki-v4.2\models\Stable-diffusion\LahMysteriousSDXL_v315.safetensors
路径中不要有中文。
2、数据集设置:
a、训练数据集路径
第一步做标签的时候已经将文件放入路径:F:\LoRAliandanlu\train\blue dress,这里就填入文件夹内名称:blue dress。
b、训练图片分辨率
因为训练集图片尺寸为512x768的竖图,这里改为:512,768

3、保存设置:模型保存名称
模型保存名称用英文数字,听朋友说,写上初恋情人的名字,训练出来的效果最佳。

截图中的:每 N epoch(轮)自动保存一次模型选项,默认数值为2,
最大训练 epoch(轮数),默认数值为10,
这意味着本次训练将会生成5个LoRA模型供测试选择。
好了,就设置这三个,其余的参数一概默认,一概不管,当然你说你要设置下,当然可以啊,因为这并不影响小日子排污,噢耶,点击右下角的开始训练!

铛铛铛~~~~~

training finished 训练完成!
3、LoRA模型检测
训练好的lora模型在主目录下面的output文件夹:

打开文件夹可以看到这里训练出来了5个LoRA模型,

将LoRA模型复制到秋叶SD包:主目录\models\Stable-diffusion中,接下来是要测试五个模型了,启动SD,文生图,
模型:墨幽人造人_v1040,
正向词:masterpiece,best quality,(a girl:1.2),blue dress,dress,sailor collar,solo,front,<lora:bluedress-000008>,
负向词:lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
采样步数:年龄多大写多少
采样方法:DPM++ 2M Karras
重回幅度:0.48
尺寸:512x768,高分辨率修复
点击生图,我们来看下效果:

可以看到,没有人,LoRA的权重太大了,那该怎么办,这时候就要测试不同数值的效果,选择最佳的模型和对应的数值。
这里要用到脚本:X/Y/Z图表,X轴为模型号,Y轴为权重数值。
先在正向词中修改LoRA代号;
将模型名称改为:bluedress-NUM,权重改为:STRENGH
正向词:masterpiece,best quality,(a girl:1.2),blue dress,dress,sailor collar,solo,front,<lora:bluedress-NUM:STRENGH>,
来到X/Y/Z图表设置:
X轴类型选择:提示词搜索/替换:X轴值:NUM,000000,000002,000004,000006,000008,
Y轴类型选择:提示词搜索/替换:Y轴值:STRENGH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1。

点击生成图片,得到这样的xy图表。

这时候就要慢慢的筛查了,这里终于找到了,发现模型为bluedress-000002,数值在0.7-0.8的时候,衣服相对比较接近源衣服。,这里的难点在于衣服的水手领口,人脸不要紧可以调整。

下面还需要做详细的评估测试应用。
4、模型应用评估测试优化
重新设置正向词:masterpiece,best quality,a girl,blue dress,dress,high heels,sailor collar,solo,standing,<lora:bluedress-000002:0.71>,
经过不断地细节调整(分把钟),总算有点样子,这里直接出图了。


这个效果就当是做个流程测试,还需要做后期的详细的优化细节,另外这款衣服款式比较特别,源素材图片拍摄的质量也比较一般,衣服没有撑起来,褶皱多等等,要想出一个好的效果,还得源素材集图片质量好,同时对每一张素材图打完善准确的tag标签,同时训练的时候精准的调整数值,在不同环境下做不同的测试,才能达到一个相对满意的结果,如果你要试的话,可以试试那种简单的T恤衫之类的,效果应该会很不错的。后面再分享一些复杂的数值设置,即:专家模式。
以上!
公众号回复「SD」获取SD资料包!
免责声明:以上资源皆来源于互联网公开分享的内容,仅用于个人学习使用,请禁止用于商业用途和倒卖,如真正需要,请支持版权方。
模型链接:
- Stable Diffusion | 逆天!不写提示词就能生个老婆
- Stable Diffusion | 做了个违背祖宗的决定,无偿奉献出产品海报秘方……
- Stable Diffusion | ControlNet:Reference“垫图”功能,不炼丹也能保持同一人物
- Stable Diffusion | 一键学会做登记照,情侣照,结婚照
- Stable Diffusion | 4岁的儿子用2年时间画墙报告诉我,耳机海报应该这么设计
- Stable Diffusion | Seg语义分割色板人手必备!
- Stable Diffusion | 就用这五种方法保存提示词
- Stable Diffusion | 这个提示词插件是日本人开发的








评论区 (0)
最新评论登录后发布评论并参与互动。
暂无评论,欢迎抢沙发。