はじめに
勾配降下法は、損失関数の最小値を求めるために使用できる反復的な方法です。勾配降下法アルゴリズムを使用することで、損失関数を反復的に解き、最小化された損失関数とモデルパラメータ値を取得できます。
勾配降下法の更新戦略は、次の式に従って、学習率αに現在の勾配 $\frac{\partial f}{\partial w_t}$ を掛けることで、現在の重み $w_{t+1}$ を更新することです。
$$w_{t+1}=w_t - \alpha \frac{\partial f}{\partial w_t}$$
勾配降下法アルゴリズムの開始時には、開始点 $w_0$ を初期化し、それに応じてパラメータを更新する必要があります。次のプロセスでは、関数 $f(w)=w^2$ の最小値を求める方法を示します。開始点は $w_0=-10$、学習率は $\alpha=1$ です。
このチャレンジでは、勾配降下法の概念とその欠点を検討します。勾配降下法は、損失関数の最小値を求めるために使用される反復的な方法です。ただし、局所的な最適点に引き込まれてしまい、グローバルな最適点を見つけられない場合があります。この実験の目的は、勾配降下法を最適化して、局所的な最適点をスキップし、効率的にグローバルな最適点を見つけることです。
