딥러닝 기본 용어 설명 - 고려대학교 최성준 교수님

참고자료 ➡️ https://www.boostcourse.org/ai111/lecture/1108319

딥러닝 기초 다지기

 

Key Components of Deep Learning

1. The data that the model can learn from
2. The model how to transform the data
3. The loss function that quantifies the badness of the model
4. The algorithm to adjust the parameters to minimize the loss

논문을 읽을 때 이 4가지에 주의해서 보면 조금 더 이해하기 쉬움!

 

Data

→ Data depend on the type of the problem to solve

1. Classification
2. Semantic Segmentation
3. Detection
4. Pose Estimation
5. Visual QnA

 

Model

→ 내가 알고 싶어하는 class label이나 문장의 sentiment analysis 을 바꿔주는 것

1. AlexNet, GoogLeNet, Resnet, DenseNet, LSTM, Deep AutoEncoders, GAN 등
2. 같은 데이터, Task라고 하더라도 모델의 성질에 따라서 결과가 달라질 수 있음

 

Loss

→ The loss function is a proxy of what we want to achieve

1. 딥러닝 : 어떤 식으로든 뉴럴 네트워크 형태를 갖게 됨

https://jysden.medium.com/언제-mse-mae-rmse를-사용하는가-c473bd831c62

 

1. 여기서 중요한 점은 Loss function이라는 것은 우리가 이루고자 하는 것의 proxy(근사치)에 불과함
2. 회귀 문제를 풀 때 데이터에 노이즈가 있으면
3. 다른 사람들이 회귀문제를 풀 때 MSE 사용하고, 분류 문제를 풀 때 CrossEntropy를 사용한다고 해서 항상 이렇게 풀어야 하는 것은 아님
4. 이걸 왜 사용하고, 이 Loss가 줄어드는 것이 우리가 진짜 풀고자 하는 문제를 어떻게 푸는지 이해하는 것이 필요

 

Optimize

1. 최적화 : 데이터가 정해져 있고, 모델과 Loss Function이 정해져 있을 때 네트워크를 어떻게 줄일 것인지에 대한 개념
2. 일반적으로 우리가 활용하는 것은 전부 First Order Method
3. 뉴럴 네트워크의 파라미터를 Loss Function에 대해서 1차 미분한 정보를 활용할 것
4. 1차 미분한 정보를 그냥 활용하는 게 SGD(=확률적 경사하강법)
5. Loss Function을 단순히 줄이는 게 목적이 아니라 이 모델이 학습되지 않은 데이터에서 잘 동작하는 것이 목표