소개
경사 하강법 (Gradient descent) 은 손실 함수의 최소값을 찾기 위해 사용되는 반복적인 방법입니다. 경사 하강법 알고리즘을 사용하면 손실 함수를 반복적으로 해결하여 최소화된 손실 함수와 모델 매개변수 값을 얻을 수 있습니다.
경사 하강법의 업데이트 전략은 현재 가중치 w_{t+1}을 현재 기울기 \frac{\partial f}{\partial w_t}에 학습률 \alpha를 곱하여 업데이트하는 것으로, 다음 공식을 따릅니다.
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
경사 하강법 알고리즘을 시작할 때, 시작점 w_0를 초기화하고 그에 따라 매개변수를 업데이트해야 합니다. 다음 과정은 함수 f(w)=w^2의 최소값을 찾는 것을 보여줍니다. 시작점 w_0=-10이고 학습률 \alpha=1입니다.
이 챌린지에서는 경사 하강법의 개념과 그 단점을 탐구할 것입니다. 경사 하강법은 손실 함수의 최소값을 찾기 위해 사용되는 반복적인 방법입니다. 그러나 때로는 지역 최적점 (local optimal points) 에 갇혀 전역 최적점 (global optimal point) 을 찾지 못할 수 있습니다. 이 랩의 목표는 경사 하강법을 최적화하여 지역 최적점을 건너뛰고 전역 최적점을 효율적으로 찾는 것입니다.
