Introducción
El descenso del gradiente es un método iterativo que se puede utilizar para encontrar el valor mínimo de una función de pérdida. Al utilizar el algoritmo de descenso del gradiente, podemos resolver iterativamente la función de pérdida y obtener la función de pérdida minimizada y los valores de los parámetros del modelo.
La estrategia de actualización en el descenso del gradiente es actualizar el peso actual w_{t + 1} multiplicando el gradiente actual \frac{\partial f}{\partial w_t} por la tasa de aprendizaje \alpha, de acuerdo con la siguiente fórmula:
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
Al comienzo del algoritmo de descenso del gradiente, necesitamos inicializar un punto de partida w_0 y actualizar los parámetros en consecuencia. El siguiente proceso demuestra la búsqueda del valor mínimo de la función f(w)=w^2. El punto de partida w_0 = -10 y la tasa de aprendizaje \alpha = 1.
En este desafío, exploraremos el concepto de descenso del gradiente y sus limitaciones. El descenso del gradiente es un método iterativo utilizado para encontrar el valor mínimo de una función de pérdida. Sin embargo, a veces puede quedarse atrapado en puntos óptimos locales y no encontrar el punto óptimo global. El objetivo de este laboratorio es optimizar el método de descenso del gradiente para que pueda saltar los puntos óptimos locales y encontrar eficientemente el punto óptimo global.
