Введение
Градиентный спуск - это итеративный метод, который можно использовать для нахождения минимума функции потерь. Используя алгоритм градиентного спуска, мы можем итеративно решать функцию потерь и получить минимизированную функцию потерь и значения параметров модели.
Стратегия обновления в градиентном спуске заключается в обновлении текущего веса w_{t + 1} путём умножения текущего градиента \frac{\partial f}{\partial w_t} на скорость обучения \alpha в соответствии с формулой:
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
В начале алгоритма градиентного спуска нам нужно инициализировать начальную точку w_0 и обновлять параметры соответственно. Следующий процесс демонстрирует нахождение минимума функции f(w)=w^2. Начальная точка w_0 = -10, а скорость обучения \alpha = 1.
В этом испытании мы будем исследовать концепцию градиентного спуска и его недостатки. Градиентный спуск - это итеративный метод, используемый для нахождения минимума функции потерь. Однако, иногда он может застрять в локальных оптимумах и не найти глобальный оптимум. Цель этого лабораторного занятия - оптимизировать метод градиентного спуска, чтобы он мог пропускать локальные оптимумы и эффективно находить глобальный оптимум.
