[fastcampus] 딥러닝 유치원 & 딥러닝 초급반 내용 정리

주제 : 김기현 강사님의 딥러닝 유치원 총정리

1. 우리의 목표 : 실재하지만 알 수 없는 함수 f*를 근사하고 싶다.

1) 데이터셋 D를 모아서 원하는 출력 값이 나오도록 함수 fΘ를 근사하자.

•   이 때, 비선형 데이터를 배울 수 있는 DNN을 활용하자.

 

2. Generalization loss를 최소화하는 손실함수의 입력 파라미터 Θ_hat 을 얻자.

1) 손실 함수는 Regression일 경우 MSE, Classification일 경우 Cross Entropy를 사용하자.

2) 이 과정에서 overfitting을 피할 수 있도록 하자.

• Train / Valid / Test 셋으로 나누자.
• 적절한 Regularization을 통해 genelarization을 최소화하자.
• (weight decay, Data-augmentation, Dropout/BatchNorm 등)

3. 손실 함수를 파라미터로 미분하여 파라미터를 점진적으로 업데이트 하자.

1) DNN의 경우 미분할 때, Back-prop을 통해 효율적으로 계산할 수 있다.

2) SGD : 미니배치로 나누어 업데이트하자.

3) Adam : Learning Rate 튜닝 없애고, 학습 속도를 빠르게 해줌.

 

4. 학습이 종료되면 가장 낮은 Validation Loss를 가진 모델의 파라미터를 Θ_hat으로 하자.

 

---

주제 : 김기현 강사님의 딥러닝 초급반 총정리

1. Representation Learning

  1) 특징(Feature)이란

  2) one-hot 인코딩

  3) Auto Encoder

  4) Hidden Representation

 

2. Probabilistic Perspective

  1) MLE(Maximun Likelihood Estimation)

  2) MAP(Maximum A Posterior)

  2) KL-Divergence

  3) Entropy, Cross Entropy

  4) MSE Loss

 

3. Geometric Perspective

  1) 차원의 저주

  2) 차원 축소

  3) Manifold 가설

 

4. Advanced PyTorch

1) Dataset Loader

  2) PyTorch Ignite

 

5. Convolutional Neural Networks

  1) CNN구조

  2) 활용 사례

  3) Max-Pooling & Stride

  4) 실제 구현할 때 팁

 

6. Introduction to Computer Vision

1) 영상 처리 소개

  2) VGG Net

  3) ResNet

  4) Transfer Learning

 

7. Recurrent Neural Networks

  1) RNN 구조

  2) 활용 사례

  3) BPTT(Back Propagation Through Time)

  4) LSTM & Gradient vanishing

  5) Gradient Clipping

 

8. Career Guide