はじめに
勾配降下法は、損失関数の最小値を求めるために使用できる反復的な方法です。勾配降下法アルゴリズムを使用することで、損失関数を反復的に解き、最小化された損失関数とモデルパラメータ値を取得できます。
勾配降下法の更新戦略は、次の式に従って、学習率αに現在の勾配 \frac{\partial f}{\partial w_t} を掛けることで、現在の重み w_{t+1} を更新することです。
w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}
勾配降下法アルゴリズムの開始時には、開始点 w_0 を初期化し、それに応じてパラメータを更新する必要があります。次のプロセスでは、関数 f(w)=w^2 の最小値を求める方法を示します。開始点は w_0=-10、学習率は \alpha=1 です。
このチャレンジでは、勾配降下法の概念とその欠点を検討します。勾配降下法は、損失関数の最小値を求めるために使用される反復的な方法です。ただし、局所的な最適点に引き込まれてしまい、グローバルな最適点を見つけられない場合があります。この実験の目的は、勾配降下法を最適化して、局所的な最適点をスキップし、効率的にグローバルな最適点を見つけることです。
