Einführung
Der Gradientenabstieg ist eine iterative Methode, die verwendet werden kann, um den Mindestwert einer Verlustfunktion zu finden. Mit dem Gradientenabstieg-Algorithmus können wir die Verlustfunktion iterativ lösen und die minimierten Verlustfunktions- und Modellparameterwerte erhalten.
Die Aktualisierungsstrategie beim Gradientenabstieg besteht darin, den aktuellen Gewichtsvektor w_{t+1} durch Multiplikation des aktuellen Gradienten \frac{\partial f}{\partial w_t} mit der Lernrate \alpha gemäß der folgenden Formel zu aktualisieren:
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
Am Anfang des Gradientenabstieg-Algorithmus müssen wir einen Startpunkt w_0 initialisieren und die Parameter entsprechend aktualisieren. Der folgende Prozess zeigt, wie der Mindestwert der Funktion f(w)=w^2 gefunden wird. Der Startpunkt ist w_0=-10 und die Lernrate ist \alpha=1.
In dieser Herausforderung werden wir das Konzept des Gradientenabstiegs und seine Nachteile untersuchen. Der Gradientenabstieg ist eine iterative Methode, die verwendet wird, um den Mindestwert einer Verlustfunktion zu finden. Es kann jedoch manchmal in lokalen Optimalpunkten stecken bleiben und den globalen Optimalpunkt nicht finden. Ziel dieses Lab ist es, die Gradientenabstieg-Methode zu optimieren, sodass sie lokale Optimalpunkte überspringen und den globalen Optimalpunkt effizient finden kann.
