ぷにぷにNVA部★3

970 ：転載禁止 (ﾌﾟｯﾁｮｲ gX9O-2t1Q)：2024/05/03(金) 01:16:00.50 ID:WGj3Df/+

今度はratio=16でLRの違いを比較してみたで
OptimizerはLionで1エポック300ステップ
画像一番下は参考程度にSDXLで層別学習使えるようにsd-scriptsを改造してTransformerの処理回数が多い深層のみで学習したやつ
https://files.catbox.moe/qooed6.webp
LR0.00015は高すぎで0.0001が常用できる上限っぽい
ratio16でLRの最適解は7e-05か8e-05あたりかな？

おまけにGUIのサンプルプリセットにLoRA+で高速学習できるやつ追加や、プリセット使う前にreadme読んでな
https://mega.nz/folder/ILdnzaxT#gTGQmcPUgdxKlLpIl9x__g