AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights
NAVER AI Lab / Clova · ICLR 2021 · 2021 · 검증 완료 검증 완료복수의 신뢰 가능한 출처로 검증되었습니다.
정규화로 인한 스케일 불변 가중치에서 모멘텀 옵티마이저의 유효 스텝이 과도하게 줄어드는 문제를 분석하고, 방사 방향 성분을 제거해 이를 완화한 AdamP/SGDP 제안.
- arXiv
- 2006.08217
- 원문
- https://arxiv.org/abs/2006.08217
관련 항목
출처 및 검증
- [paper] https://arxiv.org/abs/2006.08217
마지막 검증일: 2026-07-22