Введение
Градиентный спуск - это итеративный метод, который можно использовать для нахождения минимума функции потерь. Используя алгоритм градиентного спуска, мы можем итеративно решать функцию потерь и получить минимизированную функцию потерь и значения параметров модели.
Стратегия обновления в градиентном спуске заключается в обновлении текущего веса $w_{t + 1}$ путём умножения текущего градиента $\frac{\partial f}{\partial w_t}$ на скорость обучения $\alpha$ в соответствии с формулой:
$$w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}$$
В начале алгоритма градиентного спуска нам нужно инициализировать начальную точку $w_0$ и обновлять параметры соответственно. Следующий процесс демонстрирует нахождение минимума функции $f(w)=w^2$. Начальная точка $w_0 = -10$, а скорость обучения $\alpha = 1$.
В этом испытании мы будем исследовать концепцию градиентного спуска и его недостатки. Градиентный спуск - это итеративный метод, используемый для нахождения минимума функции потерь. Однако, иногда он может застрять в локальных оптимумах и не найти глобальный оптимум. Цель этого лабораторного занятия - оптимизировать метод градиентного спуска, чтобы он мог пропускать локальные оптимумы и эффективно находить глобальный оптимум.
