LORA模型原理详解+分层控制使用

TianFeng AIGC748阅读模式

LORA模型原理详解+分层控制使用

一、前言

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。假如一张图片是由背景,服饰,脸型,躯干,姿态等等组成,我们可以训练LORA模型对这些进行微调,在大模型的基础上微调成自己想要的图片。

简单理解就是大模型基础上额外增加一些训练层,在冻住大模型的基础上,训练lora模型。

LORA模型原理详解+分层控制使用

尽其实LoRA最开始是为大型语言模型提出的,但这种技术也可以应用在其他地方。在Stable Diffusion微调的情况下,LoRA可以应用于与描述它们的提示相关的图像表示之间的交叉注意力层。LoRA微调的优点包括:(论文

  • 训练速度更快
  • 计算需求更低
  • 训练权重更小,因为原始模型被冻结,我们注入新的可训练层,可以将新层的权重保存为一个约3MB大小的文件,比UNet模型的原始大小小了近一千倍。
    现在的LORA模型根据网络层数不同一般为144M,72M,36M

二、使用(lora分层控制)

1.安装插件

https://github.com/hako-mikan/sd-webui-lora-block-weight

安装方法就不介绍了,扩展界面安装,压缩包解压放到扩展目录,git clone,都行

如果想要充分利用lora模型,分层控制是必须的

lora模型一共17层组成,第一层为开关,其他16层分别控制着lora的人物背景姿态服装,有时候lora效果很好但是有一些背景服装想要更改,加上提示词发现效果不大,降低lora权重又使图片不符合预期,分层控制就排上大用场了,把服装权重降到0,提示词就可轻松换装,对与不同lora叠加使用也有了更好的效果,相信你的小脑袋已经有了很多想法了,服饰,背景,脸分别采用不同lora模型,也不用担心模型的叠加使人物崩坏了。

2,打开webui

LORA模型原理详解+分层控制使用

LORA模型原理详解+分层控制使用

我自己使用了,效果还行,使用如下,例如去除lora服装效果

<lora:tianfeng_cutegirls5:1:1,1,1,1,1,1,0,1,1,1,0,1,1,1,1,1,1>,
:1,1,1,1,1,1,0,1,1,1,0,1,1,1,1,1,1 是自己加入的,分别是17层,第一层必须是1

再去除脸型

<lora:tianfeng_cutegirls5:1:1,1,1,1,1,1,0,1,0,0,0,1,1,1,1,1,1>

图片不放了,多少有点不雅,反正效果没问题,这里我做实验了,没问题

好了,到此结束吧!

 

相关文章
weinxin
我的公众号
微信扫一扫
TianFeng
  • 本文由 发表于 2023年 6月 29日 19:26:44
  • 转载请务必保留本文链接:https://tianfeng.space/1449.html