경사하강법이란? - 경사하강법은 머신러닝, 딥러닝에서 알고리즘을 훈련시킬 때 많이 사용됨 선형회귀란? - 선형적으로 분포된 데이터를 가장 잘 나타낼 수 있는 일차함수를 찾는 것 - 최적의 기울기와 y절편을 찾기 위해 사용되는 것이 경사하강법 경사하강법 의미? - 함수 값이 낮아지는 방향으로 독립 변수의 값을 변경시켜 최종적으로 최소 함수를 갖도록 하는 독립변수의 값을 찾는 방법 경사하강법 목적? - 함수의 최소값을 찾는 문제 경사하강법 사용하는 이유? - 함수의 미분계수가 0인 지점을 최대값 또는 최소값으로 확인하면 되지만, 머신러닝, 딥러닝에서의 함수는 굉장히 복잡해 근을 계산하기 어려움 경사하강법 순서 - 각 데이터 사이의 평균제곱오차(MSE) 를 구함 - 이 평균제곱오차를 비용함수라고 한다 - 비용..
입력 데이터A > 뉴런A 입력 데이터B > 뉴런A 뉴런 = (입력데이터A * 가중치A) + (입력데이터B * 가중치B) + 편향 -> 활성화함수 -> 활성/비활성 1. 뉴런에 들어온 여러 입력데이터의 가중합을 구함 2. 그 가중합을 활성화 함수의 임계치와 비교 3. 임계치보다 크면 그 뉴런은 활성화, 임계치보다 작으면 그 뉴런은 비활성화
활성화 함수 (Activation Function) - 입력 신호의 합을 출력 신호로 변환하는 함수 - 입력 받은 신호를 얼마나 출력할지 결정 - 비선형함수 (Nonlinear Function) - 입력 신호의 총합이 활성화를 일으키는지 정하는 역할 활성화 함수 종류 - 계단 함수 (Step Function) - 시그모이드 함수 (Sigmoid Function) - 하이퍼볼릭탄젠트 함수 (Hyperbolic Tangent Function) - 렐루 함수 (ReLU) - 리키 렐루 함수 (Leaky ReLU) - 소프트맥스 함수 (Softmax Function) 뉴런A > 뉴런B - 뉴런A 에서 뉴런B 로 신호를 전달할 때, 임계점을 경계로 출력값에 큰 변화를 줌 입력 데이터 > 활성화 함수 > 출력 데이터