原理的にはlora-FAの逆みたいな感じで上手くいけば最大二倍速で学習できる…らしい
minus表記が通常のloraでplusがとりあえず推奨されてた--loraplus_unet_lr_ratio=16 --loraplus_text_encoder_lr_ratio=16 --loraplus_lr_ratio=16で学習させてみた奴
https://files.catbox.moe/9al4sa.jpg
アジがよりうまそうになった気がする
https://files.catbox.moe/k51kgc.jpg
epoch毎で比較してもplusが明らかに早くタイに収束してる
https://files.catbox.moe/7bsmrb.jpg
lossも分かりやすく一段下がってるのでまあなんか良さそうやない？lora+くん