ぷにぷにNVA部★14

710 ：転載禁止 (ﾌﾟｯﾁｮｲ UtJP-o1jR)：2025/02/08(土) 21:06:37.86 ID:qcZ6SAqM

>>707
LRの曲線とよくある大域/局所最適化の図は違うんでごっちゃにしたらあかんやで
大域/局所最適化の図は本来パラメータ数かなりあるところで何次元というパラメータのベクトルみたいな感じになるんやが当然表現できんので わかりやすいように２次元の曲線やったり地図の標高表現みたいので表現しとるだけや
TensorBoard で出力するグラフに 大域/局所最適化 を示す図はないんで「他のオプティマイザやスケジューラやとエポック進んでもLRが下がっていくんやがなぜかこの設定だとエポック進んでもLRが下がらんな...」っというときに局所最適値に落ちた というトライアンドエラーの積み重ねでしか判断でけんのや
もしこの図が出せるようになればAI学習に革命が起こるで! ノーベル賞もんや!
LRの曲線はニキの認識通り 0に近い低いほうがLOSS(残差＝教師画像との差分みたいなイメージ)が低いので教師画像に似るんやが 似せようとするあまり素材のポーズや構図でガチガチになっていく(過学習)ので手前のエポックのを選んで使う でええんやで
「じゃぁ最初からこの範囲でエポックを回せば時短になる」はそのとおりやな！　20より右はニキとしては過学習で実用でけんのやから