소개
경사 하강법 (Gradient descent) 은 손실 함수의 최소값을 찾기 위해 사용되는 반복적인 방법입니다. 경사 하강법 알고리즘을 사용하면 손실 함수를 반복적으로 해결하여 최소화된 손실 함수와 모델 매개변수 값을 얻을 수 있습니다.
경사 하강법의 업데이트 전략은 현재 가중치 $w_{t+1}$을 현재 기울기 $\frac{\partial f}{\partial w_t}$에 학습률 $\alpha$를 곱하여 업데이트하는 것으로, 다음 공식을 따릅니다.
$$w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}$$
경사 하강법 알고리즘을 시작할 때, 시작점 $w_0$를 초기화하고 그에 따라 매개변수를 업데이트해야 합니다. 다음 과정은 함수 $f(w)=w^2$의 최소값을 찾는 것을 보여줍니다. 시작점 $w_0=-10$이고 학습률 $\alpha=1$입니다.
이 챌린지에서는 경사 하강법의 개념과 그 단점을 탐구할 것입니다. 경사 하강법은 손실 함수의 최소값을 찾기 위해 사용되는 반복적인 방법입니다. 그러나 때로는 지역 최적점 (local optimal points) 에 갇혀 전역 최적점 (global optimal point) 을 찾지 못할 수 있습니다. 이 랩의 목표는 경사 하강법을 최적화하여 지역 최적점을 건너뛰고 전역 최적점을 효율적으로 찾는 것입니다.
