ぷにぷにNVA部★25

279 ：転載禁止 ☭ (ﾌﾞﾁﾊﾟﾝﾀﾞ MaJv-.HwU) (p)：2025/12/26(金) 00:58:25.17 ID:MbbsLcDg

ちょこっとchatgptにadamwとlionのweight_decayについて聞いてみてたんだけど、
その途中で、
admw α/dim ≥ 1.0 必須 dim=16〜32, alpha=dim〜2×dim
Lion は α/dim ≈ 1.0 が最安定 0.75〜1.25 が推奨　
って言いだしたんだけど、マジ？
いままで0.25〜0.5程度でやってきたんだけどどんなもんだろ
一応今０．７５で走らせてるけど・・・