Introdução
O gradiente descendente (gradient descent) é um método iterativo que pode ser usado para encontrar o valor mínimo de uma função de perda (loss function). Ao usar o algoritmo de gradiente descendente, podemos resolver iterativamente a função de perda e obter a função de perda minimizada e os valores dos parâmetros do modelo.
A estratégia de atualização no gradiente descendente é atualizar o peso atual w_{t+1} multiplicando o gradiente atual \frac{\partial f}{\partial w_t} pela taxa de aprendizado (learning rate) \alpha, de acordo com a seguinte fórmula:
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
No início do algoritmo de gradiente descendente, precisamos inicializar um ponto de partida w_0 e atualizar os parâmetros de acordo. O seguinte processo demonstra a busca pelo valor mínimo da função f(w)=w^2. O ponto de partida w_0=-10 e a taxa de aprendizado \alpha=1.
Neste desafio, exploraremos o conceito de gradiente descendente e suas deficiências. O gradiente descendente é um método iterativo usado para encontrar o valor mínimo de uma função de perda. No entanto, às vezes pode ficar preso em pontos ótimos locais e não conseguir encontrar o ponto ótimo global. O objetivo deste laboratório é otimizar o método de gradiente descendente para que ele possa pular os pontos ótimos locais e encontrar o ponto ótimo global de forma eficiente.
