■掲示板に戻る■
全部
1-
101-
201-
301-
401-
501-
601-
最新50
ぷにぷにNVA部★9
212 :
転載禁止
🐣
(プッチョイ 2p62-.Ryb)
:2024/07/01(月) 21:06:22.49 ID:/S9K8bxo
Immiscible Noiseアルゴリズムとかいう凄そうな奴がPR出てたんで試したで
https://github.com/kohya-ss/sd-scripts/pull/1395
学習の収束が1.2〜3倍になるらしい
普通はランダムに一枚出力にした物を使うノイズをImmiscible Noiseバッチ数大量に出して教師画像と近い物を選ぶ事でより自然な学習ができるとかなんとか
論文適当に流し読みしたんであってるかは謎
タイepoch比較
https://ul.h3z.jp/Rz8dYq9w.jpeg
ハマチepoch比較
https://ul.h3z.jp/1J8MjfAM.jpeg
上から件のImmiscible Noise(1024バッチ)、普通のAdamW8bit、前試したAdamWスケジュールフリーのplus lr16でlrは全部0.0001
plusは収束がくそはやだけど偶に破綻する奴が無いのに収束早いのがすごい(こなみ)
loss
https://ul.h3z.jp/BQqN3nxA.jpeg
Immiscible Noiseの序盤のlossの下がりが凄い。おそらくcosine restart 4cycleにしてたからか変な下がり方になったんでもうちょい改善はできると思うわ
loraplusとの併用もこの後試してみる予定
147KB
続きを読む
掲示板に戻る
全部
前100
次100
最新50
名前:
E-mail
(省略可)
:
■■■このスレッドは過去ログに収容されてるから書き込めないぶい!🐕■■■
READ.CGI - 0ch+ BBS 0.7.5 20220323 (Tuned by イーブイワイ★)
ぷにぷに板は「ぜろちゃんねるプラス」で作られていますぶい!🐕