その名の通りスケジューラが不要で少なくともコサイン減衰等のスケジューラより性能が良い…らしい
ScheduleFreeAdamWのlr0.0001で試してみたら大差なかった。他条件の10倍までlr上げられるという売り込みだったのでlr5倍の0.0005にしたら良くなったけど破綻の気配がする(10倍にしたらかなり怪しい結果になった)
https://files.catbox.moe/6tmqsi.jpeg
lr0.0001のlora+との比較。ハイパーパラメータよくわからんのでお手軽に性能上がるlora+くんの方がワイには有用に見えた
https://files.catbox.moe/br3y94.jpeg
スケジューラは設定してないけどlossの動きは他の条件cosine restarts 4サイクルとだいたい同じように見える
https://files.catbox.moe/whrht7.jpg