[DL] 8. 가중치 초기화와 배치 정규화

학습 내용

• 가중치 초기화
  배치 정규화

 

가중치 초기화(Weights Initialization)

• 가중치 초기화는 신경망의 성능에 큰 영향을 주는 요소 중 하나입니다. 
• 만약 가중치의 값이 일부 값으로 치우치게 되면, 활성화 함수를 통과한 값들도 치우치게 되고, 결국 표현할 수 있는 신경망의 수가 적어지는 문제가 발생합니다. 
• 보통 가중치 초기값으로 0에 가까운 무작위 값을 사용하더라도 초기값에 따라서 모델의 성능 차이가 발생할 수 있음.
  • 모델의 활성화 값이 골고루 분포 되는 것이 중요함.

 

가중치 초기화 방법에 따라서 어떻게 달라지는지 살펴보기 위해 지정된 활성화 함수 activation과 초기화 initializer에 따라 모델을 생성하는 build_model 함수를 정의합니다.

관련 코드

 

개념 2

코드코드

 

 

출처

참고자료

https://www.jeremyjordan.me/batch-normalization/](https://www.jeremyjordan.me/batch-normalization/