■掲示板に戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 最新50  

ぷにぷにNVA部★9

212 :転載禁止 🐣 (プッチョイ 2p62-.Ryb):2024/07/01(月) 21:06:22.49 ID:/S9K8bxo
Immiscible Noiseアルゴリズムとかいう凄そうな奴がPR出てたんで試したで
https://github.com/kohya-ss/sd-scripts/pull/1395
学習の収束が1.2〜3倍になるらしい
普通はランダムに一枚出力にした物を使うノイズをImmiscible Noiseバッチ数大量に出して教師画像と近い物を選ぶ事でより自然な学習ができるとかなんとか
論文適当に流し読みしたんであってるかは謎
タイepoch比較
https://ul.h3z.jp/Rz8dYq9w.jpeg

ハマチepoch比較
https://ul.h3z.jp/1J8MjfAM.jpeg

上から件のImmiscible Noise(1024バッチ)、普通のAdamW8bit、前試したAdamWスケジュールフリーのplus lr16でlrは全部0.0001
plusは収束がくそはやだけど偶に破綻する奴が無いのに収束早いのがすごい(こなみ)
loss
https://ul.h3z.jp/BQqN3nxA.jpeg

Immiscible Noiseの序盤のlossの下がりが凄い。おそらくcosine restart 4cycleにしてたからか変な下がり方になったんでもうちょい改善はできると思うわ
loraplusとの併用もこの後試してみる予定

147KB
続きを読む

名前: E-mail(省略可)
READ.CGI - 0ch+ BBS 0.7.5 20220323 (Tuned by イーブイワイ★)
ぷにぷに板は「ぜろちゃんねるプラス」で作られていますぶい!🐕