AI绘画Lora模型训练入门教程：从零开始打造专属绘画模型

AI绘画Lora模型训练入门教程：从零开始打造专属绘画模型

引用

CSDN

1.

https://m.blog.csdn.net/Misdirection_XG/article/details/145876867

Lora模型是AI绘画中常用的模型之一，它可以帮助用户快速训练出符合自己需求的绘画模型。本文将从零开始，详细介绍Lora模型的训练流程和注意事项，帮助读者快速掌握Lora模型的训练方法。

开始前的准备

在开始训练之前，需要确认自己的电脑是否满足以下要求：

• 显卡要求：推荐使用NVIDIA 30系及以上的显卡。如果显卡不支持，可以使用云端服务。

• 训练脚本：推荐使用秋叶大佬的一键训练脚本包，这是目前最直观和最容易理解的训练方式。

• 软件安装：

• Python安装：在秋叶大佬的一键包中默认安装，安装时勾选Add PATH，然后点击Install Now。

• Windows PowerShell设置：打开Windows PowerShell（管理员模式），输入Set-ExecutionPolicy -ExecutionPolicy RemoteSigned，然后按[A]回车。

Lora模型训练流程

为什么要训练Lora模型？

训练Lora模型有以下优势：

1. 节省训练时间：Lora模型已经在大规模基准数据集上预训练过，可以利用已学到的特征加速新任务的训练过程。

2. 提高准确性：通过微调Lora模型，可以在保持底层模型的特征提取能力的同时，针对具体任务进行优化，从而提高模型在特定任务上的准确性。

3. 加快创作速度：Lora模型可以快速生成创意效果，为创作者提供新的创作灵感。

4. 可迁移性：可以在不同任务之间共享底层模型，减少重复训练，提高工作效率。

Lora模型训练流程

1. 训练前期准备

• Python安装：在秋叶大佬的一键包中默认安装，安装时勾选Add PATH，然后点击Install Now。
• Windows PowerShell设置：打开Windows PowerShell（管理员模式），输入Set-ExecutionPolicy -ExecutionPolicy RemoteSigned，然后按[A]回车。
• 训练脚本更新：解压lora-scripts压缩包后，点击强制更新.bat脚本，然后用鼠标右键install-cn.ps1文件点击PowerShell模式运行，进行环境依赖更新。

2. 训练模型相关知识点

• 过拟合 & 欠拟合：过拟合是指模型在训练数据上表现很好，但在新数据上表现较差；欠拟合是指模型在训练数据上表现都不好。解决方法是在模型训练中不断调整训练集、正则化、训练参数等。
• 泛化性：泛化性是指模型在新数据上的表现能力。可以通过跑Lora模型生图测试来判断泛化性是否良好。
• 正则化：正则化是解决过拟合和欠拟合的情况，并提高泛化性的手段。相当于给模型加一些规则和约束，限制要优化的参数有效防止过拟合，同时也可以让模型更好适应不同情况的表现，提高泛化性。

3. 训练集准备工作

• 训练素材处理：选择角色人物凝光作为本次教程素材。如果是角色训练集，控制在20-50张图左右，太多会导致过拟合。推荐使用自动扣图网站：https://pickwant.com/home
• 图像预处理：使用Stable Diffusion的训练模块下图像预处理功能，勾选生成DeepBooru进行生成tags标签。
• 打标签：使用批量打标签软件BooruDataset。具体操作包括：点击上方File的Load folder后选择处理好的训练集路径；左边一栏是单张编辑，右边一栏是批量编辑；是增加标签 X是删除标签 ✔是保存；最后修改完标签点击File—Save all changes保存全部标签。
• 训练文件夹结构规范：在脚本的LoraTraining目录下新建训练文件夹命名为train；如果需要训练多个概念，就在（input_角色名称）下面再新建一个文件夹；在概念文件夹内建立 – 训练素材文件夹(训练素材文件夹前面的需要加“_”你想训练的次数)之后将训练素材放置进去即可。

4. 开始训练

• 训练脚本讲解：在训练脚本根目录下用秋叶提供的文本编辑软件打开train.ps1。具体参数包括：pretrained_model（底模型路径）、train_data_dir（训练素材路径）、reg_data_dir（正则化素材路径）、resolution（图片分辨率）、batch_size（一次性送入模型的样本数）、max_train_epoches（最大训练的epoch数）、network_dim（常用 4~128）、学习率（lr、unet_lr、text_encoder_lr）等。
• Tensorboard（可视化学习曲线）：首先需要安装GIT：https://git-scm.com/download/win。使用方法：开始跑第一次训练，跑不跑完都可以，然后找到 LoraTrain\lora-scripts\logs路径内找到最新时间戳的文件夹名称，在这个文件夹内鼠标右键再次唤出Git bash here指令窗口，输入“tensorboard –logdir=./时间戳/network_train” ，复制出提供的网址到浏览器上即可看到学习曲线图。

5. 输出设置和优化器设置

• 输出设置：包括output_name（模型保存名称）和save_model_as（模型保存格式）。
• 优化器设置：包括use_8bit_adam和use_lion。

6. 模型测试

• 最后从炼丹炉内取最小值的模型为最佳，没有效果再选取最终生成的版本。
• 在Output文件夹下取出模型，使用Stable Diffusion的xyz图表脚本来测试不同权重下Lora的表现。

总结

通过本文的介绍，相信读者已经对Lora模型的训练有了一个全面的了解。虽然训练Lora模型需要一定的技术基础，但只要按照本文的步骤操作，相信读者一定能够成功训练出自己的Lora模型。当然，理论只是基础，实际效果还需要通过不断的实践来验证。希望读者能够通过本文，开启自己的AI绘画之旅。