ぷにぷにNVA部★14

189 ：転載禁止 (ﾌﾟｯﾁｮｲ .jCW-Qve5)：2025/01/20(月) 07:55:57.41 ID:fL8o0tnA

>>182
まずはTensorboardを使って学習曲線出すのがエエと思うで
ワイからすると計器無しで飛行機で空飛んどるようなもんや
Tensorboard使うとcosine with restartsとcyclesとがどんなもんかとかすぐわかるで
cyclesを小さくするのは対象の学習レートが良く分かっている場合がええな 序盤は飛ばして(高lrで学習して)最後はきっちり減速(低lrで学習して微調整)して一発着陸のイメージや
cycles増やすと途中何回か着陸予行演習するような動きになるんで良くわからん場合は4位あった方が安パイや 最終成果物が過学習気味の場合に手前のエポックの途中成果物を採用しやすいで 代わり序盤飛ばさずに(高lr期間が短い)ちまちま着陸演習(低lr学習)するんで途中時点での学習の進み具合は少し遅れるやな