GUIの「LRウォームアップ」て何やろと調べたら
https://hoshikat.hatenablog.com/entry/2023/05/26/223229
＞スケジューラーがconstant_with_warmupでないならここは無視して構いません。
せやったんか……（意味もなく250〜100にしとった）
あとCAME（青）とAdamW（黒）のTensorBoard
restart=2でできたわ、なんでか全く解らん
やっぱCAMEは速いンゴね
https://files.catbox.moe/ta98b9.png
けどepochの序盤で終わるときピーキーなんよね、epoch3.5が欲しいとき多い
そんとき繰り返し数を減らして様子みるより
スケジューラPolynomialで「LR power = 2」のほうが緩やかになりそう……かな？
https://cdn-ak.f.st-hatena.com/images/fotolife/h/hoshikat/20230525/20230525001355.png
次はPolynomialためしてみるで
LR power = 2を3にしたらグラフがどう動くかは想像でけんけども
完成度上がるならepoch数多くても構わんニキ向けやろうか？