LRいじると最大最適解にいけんちゅうのは知らんかった
勉強になるでサンガツや……！
目的関数が非凸関数の項目やね
restartの意味、ようやく解った気がするわ
ならcosine-restartでええかー？
オーバーパラメトライゼーション
横幅が広いと局所最適解が大域的最適解になる
この横幅＝epoch数であっとるよね？
ワイは大いに誤解しとったかもしれん
「epochかstep進むと素材のポーズで固定されがちになっていく」
とこんな感じに思って、前半しか要らんわってなったんやが
そもそもこれが間違っとったんか……？
https://files.catbox.moe/tpmflv.jpg