Gradient descent, Stochastic GD, Mini-batch GD
용어 헷갈리는데 잘 정리하고 넘어가자!
- GD : dataset 전체를 보고 gradient 계산 (느림)
- Mini-batch GD : dataset을 작은 mini-batch로 나누고, batch 하나씩 가져와서 gradient 계산해서 학습
- SGD : 원래는 data 1개 보고 학습하는 것을 지칭했으나, 요즘은 mini-batch를 SGD라고 부르는 듯 (mini-batch를 전체 dataset으로부터 random하게 sample해서?)
참고 자료
⭐️GD vs SGD, Optimizer들 계보 정리
https://seamless.tistory.com/38
딥러닝(Deep learning) 살펴보기 2탄
지난 포스트에 Deep learning 살펴보기 1탄을 통해 딥러닝의 개요와 뉴럴 네트워크, 그리고 Underfitting의 문제점과 해결방법에 관해 알아보았습니다. 그럼 오늘은 이어서 Deep learning에서 학습이 느린
seamless.tistory.com
⭐️Mini-batch GD랑 SGD를 혼용해서 부른다고 하는 글
https://light-tree.tistory.com/133
딥러닝 용어정리, MGD(Mini-batch gradient descent), SGD(stochastic gradient descent)의 차이
제가 공부한 내용을 정리한 글입니다. 제가 나중에 다시 볼려고 작성한 글이다보니 편의상 반말로 작성했습니다. 잘못된 내용이 있다면 지적 부탁드립니다. 감사합니다. MGD(Mini-batch gradient descen
light-tree.tistory.com
'<기타 공부> > [기계 학습]' 카테고리의 다른 글
| [Pytorch] 간단한 linear regression 코드 (머신러닝 + Pytorch 복습용) (0) | 2022.04.06 |
|---|---|
| Train / Test / Validation dataset (0) | 2022.04.06 |
| Bias-Variance tradeoff (0) | 2021.08.02 |
| 어떤 loss를 쓰는지도 중요하다 (0) | 2021.06.26 |
| Dropout (0) | 2021.06.21 |