ぷにぷにNVA部★8

41 ：転載禁止 🐣 (ﾌﾟｯﾁｮｲ gbTH-QWnl)：2024/06/10(月) 23:15:27.56 ID:X7+pySqU

ふと試したくなったのでちょっと前にPR出てたschedule free optimizerにlora+併用した場合の比較
lrは全て1e-4で上からAdam(cosine restart 4cycle)、Adam plus lr16(cosine)、schedule free Adam(スケジューラ無し)
アジ
https://ul.h3z.jp/nRmKS0fl.jpeg
freeの方がネギとショウガの混ざりが少ない気がする？
タイ
https://ul.h3z.jp/uxGjUTLl.jpeg
freeの方がタイにはあんまネギを乗せないことを早くに学ぶ？
loss
https://ul.h3z.jp/WMXrDHMs.jpeg
スケジューラ有とほぼ同一、生成結果と同様にlora+の効果が圧倒的に大きくてfreeは劇的な変化は無さそう
強いて言えばスケジューラの事を考えなくてよいのは強いのかも