[ML] 경사하강법(Gradient Descent) 이란?

경사하강법이란?

- 경사하강법은 머신러닝, 딥러닝에서 알고리즘을 훈련시킬 때 많이 사용됨

 

선형회귀란?

- 선형적으로 분포된 데이터를 가장 잘 나타낼 수 있는 일차함수를 찾는 것

- 최적의 기울기와 y절편을 찾기 위해 사용되는 것이 경사하강법

 

경사하강법 의미?

- 함수 값이 낮아지는 방향으로 독립 변수의 값을 변경시켜 최종적으로 최소 함수를 갖도록 하는 독립변수의 값을 찾는 방법

 

경사하강법 목적?

- 함수의 최소값을 찾는 문제

 

경사하강법 사용하는 이유?

- 함수의 미분계수가 0인 지점을 최대값 또는 최소값으로 확인하면 되지만,

  머신러닝, 딥러닝에서의 함수는 굉장히 복잡해 근을 계산하기 어려움

 

경사하강법 순서

- 각 데이터 사이의 평균제곱오차(MSE) 를 구함

- 이 평균제곱오차를 비용함수라고 한다

- 비용함수(평균제곱오차)는 아래로 볼록한 2차함수가 된다

- 비용함수(평균제곱오차)로 w, b 가 최소가 되는 지점을 찾는다.