Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

当前位置:首页>设计文章>人工智能>Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

DreamBooth是一种微调Stable Diffusion大模型的炼丹方式,和Lora最直观的区别就是这种微调方式产生的都是大模型,有2-4G大,对电脑性能要求和和存储空间比较高。而Lora方式产生的文件基本在144M以下,对电脑性能和存储空间要求比较低。其他具体效果上区别我还在研究,本篇文章主要聚焦在跑通流程,深度解读各项参数在后面的文章中讨论。

我看的教程是星空大佬的【AI绘画 Stable Diffusion 使用DreamBooth&LoRA Bucket功能 训练画风】,在学习过程中积累了一些小知识点与错误解决方案,在此和大家讨论一下。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

https://www.bilibili.com/video/BV1AT411a78g/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10

第一步是准备训练集,也就是素材图。位置在哪里没关系,反正是填文件夹链接的,支持子文件夹里有图片,训练集图片可以直接用自己收藏的图片,也可以精细化处理一下,裁剪成512*512的,建立同名文件打tag。以下是我的文件路径,每个训练模型匹配一个训练集。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

第二步是配置好插件,该更新的更新。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

准备插件过程中最经常出现的问题是,更新插件后 Web UI 界面没显示对应插件标签页。这个问题的解决方案如下:

先使用cmd或者powershell进入webui目录,例如我就是用powershell 输入cd D:\aigc\xingkong\stable-diffusion-webui_23-03-10

然后再运行 python\python.exe launch.py 就解决了。

如果还报错的话装一下Git,地址链接:https://git-scm.com/downloads

然后还有其他问题的话就问chatGPT吧

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

备完插件就可以开始训练了:

第一步是新建模型,底模推荐1.5版本默认底模,,是512就勾选,不是就取消。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

第二步是选择模型并设置参数,这里的参数后面的文章再详细解释。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

下图的参数默认不动也可一个,想多训练一些步数就把100改大,对应时间会变长,想快速训练就把Batch Size改大,但是注意显存消耗。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

这里是学习率优化器等,新手照着设置就行。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

这里是训练集图片设置和提示词设置,Instance Prompt 是要训练的风格名词,可以把3dicon 换成自己命名的单词,Class prompt是提醒ai 原本的style怎么画的,不要学了新的就忘记了旧的。最后一个Sample Image Prompt 是训练过程中生成提示词用的,可以预览一下训练成果,但并不准确,真正成果还是得生成模型后自己测试。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

这是保存模型的相关设置。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

训练完成后,模型文件会出现在对应的stable-diffusion-webui\models\Stable-diffusion 文件夹,点击webui界面的刷新按钮就可以看到训练完的模型了,然后就可以愉快的开始使用新模型了。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

建议使用xy轴功能生成一张对比图,能比较全面的感受到模型的质量,例如下图。

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

本期的简单分享就到这里先,更多炼丹术解析敬请期待下期分享,也可以加入Stable Diffusion 炼丹阁和道友们一起交流炼丹经验。

扩展阅读:

【AI绘画】cudnn替换,为你的40系显卡开启满血模式(4090加速)-秋葉aaaki

https://www.bilibili.com/read/cv22170274?spm_id_from=333.999.0.0

【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划-秋葉aaaki

https://www.bilibili.com/read/cv22316068?spm_id_from=333.999.0.0

【AI绘画】LoRA训练与正则化的真相:Dreambooth底层原理-秋葉aaaki

https://www.bilibili.com/read/cv22578510?spm_id_from=333.999.0.0

【轻科普】StableDiffusion那些事儿,关于LoRA、DreamBooth、模型分层融和等-飞鸟白菜

https://www.bilibili.com/video/BV1RT411D7h7/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)

Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)插图13
Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风(一)插图13

SD 模型训落地课{Ckpt+LoRA}[出售]

除非注明,否则均为UIED用户体验学习平台-炼丹阁的原创文章,转载必须以链接形式标明本文链接

本文链接:https://www.uied.cn/30991.html

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
人工智能

用不了ChatGPT?快来装最强平替ChatGLM

2023-9-5 13:55:11

人工智能

Dreambooth 官方炼丹教程万字详解-Epochs\\Batch size\\学习率 等超参数调优 (一)

2023-9-5 13:55:25

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索