ぷにぷにNVA部★4

527 ：転載禁止 (ﾌﾟｯﾁｮｲ 6PiN-oLX4)：2024/05/16(木) 01:29:35.07 ID:XtsJkkLY

1111のPRに来てるnvidia開発のAlign Your Stepsっていうスケジューラ試してみた
https://research.nvidia.com/labs/toronto-ai/AlignYourSteps/
KarrasとExponentialより収束速くUniformと同等って感じでUniform特有のノイズとアーティファクトが出ないのはええな
https://files.catbox.moe/i9xsll.webp
https://files.catbox.moe/8iryvc.webp

関係ないけどLoRA+のratioって8でええわ、8にしても16とほとんど変わらんし安定性も向上するで