728x90 AdamW1 딥러닝 학습 원리: 순전파·역전파·옵티마이저·L1/L2 규제 고양이와 강아지를 구분하는 모델을 만들었다고 하자. 입력을 넣고 정답을 알려 주는 것만으로 가중치가 저절로 좋아지지는 않는다. 모델은 예측과 정답의 차이를 손실로 바꾸고, 그 손실이 각 가중치에 얼마나 책임이 있는지 역전파로 계산한 뒤 값을 조금 수정한다. 이 순환을 이해하면 학습률·옵티마이저·L1/L2 규제가 왜 필요한지도 한 흐름으로 연결된다. 먼저 결론 훈련 손실 하나만 낮추는 것이 목표가 아니다. 보지 않은 검증 데이터에서도 오류가 줄어드는지 확인하고, 학습률과 모델 크기를 기준선부터 비교한 뒤 필요한 만큼만 규제를 추가한다. 훈련 손실과 검증 손실이 갈라지는 순간부터 모델은 학습 데이터의 세부 패턴을 외우기 시작할 수 있다. 목차 한.. 2026. 7. 31. 이전 1 다음 728x90
