Dropout

내가 지금까지 공부한 바에 의하면, Dropout은 일부 퍼셉트론을 일부로 꺼서 (아마 이 뉴런의 output을 0으로 만들어서 무시하는 방법을 쓸 듯) 모델의 overfitting을 줄이고 general capacity를 올리는 방법으로 알고 있다.

 

- 각 노드가 특정 dataset을 외워버리는 것을 줄일 뿐만 아니라,

- 여러 노드를 끄고 키면서 생기는 다양한 모델 capacity를 평균 내는 효과로 general capacity 달성 가능

 

뉴런을 끈다는 효과 때문에, input/output layer 끝에는 dropout을 넣지 않는게 국룰이라고 배움.

중간 hidden layer에만 적용 (batch normalization도 마찬가지?)

 

 

아래 글에 소개된 '근본' 논문들 읽으면서 저자들이 왜 dropout을 쓰기 시작했으며, 그 효과가 어떠한지 공부하자.

 

https://stats.stackexchange.com/questions/240305/where-should-i-place-dropout-layers-in-a-neural-network

Where should I place dropout layers in a neural network?