はじめに
このチュートリアルでは、等張回帰について学びます。等張回帰は、訓練データ上の平均二乗誤差を最小化しながら、関数の非減少近似を見つける非パラメトリック回帰手法です。Python の人気のある機械学習ライブラリである scikit - learn を使用して、等張回帰を実装し、線形回帰と比較します。
VM のヒント
VM の起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebook を使って練習しましょう。
時々、Jupyter Notebook が読み込み終わるまで数秒待つ必要があります。Jupyter Notebook の制限により、操作の検証を自動化することはできません。
学習中に問題に遭遇した場合は、Labby にお尋ねください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。
必要なライブラリをインポートする
このチュートリアルで必要なライブラリをインポートして始めましょう。それは NumPy、Matplotlib、および scikit - learn です。
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.collections import LineCollection
from sklearn.linear_model import LinearRegression
from sklearn.isotonic import IsotonicRegression
from sklearn.utils import check_random_state
データを生成する
次に、回帰に使用するデータを生成します。同分散な一様ノイズを持つ非線形な単調なトレンドを作成します。
n = 100
x = np.arange(n)
rs = check_random_state(0)
y = rs.randint(-50, 50, size=(n,)) + 50.0 * np.log1p(np.arange(n))
等張回帰と線形回帰モデルを適合させる
ここで、生成したデータに対して等張回帰と線形回帰の両方のモデルを適合させます。
ir = IsotonicRegression(out_of_bounds="clip")
y_ = ir.fit_transform(x, y)
lr = LinearRegression()
lr.fit(x[:, np.newaxis], y) ## x needs to be 2d for LinearRegression
結果をプロットする
最後に、両方の回帰モデルの結果をプロットして、データにどの程度適合しているかを視覚化します。
segments = [[[i, y[i]], [i, y_[i]]] for i in range(n)]
lc = LineCollection(segments, zorder=0)
lc.set_array(np.ones(len(y)))
lc.set_linewidths(np.full(n, 0.5))
fig, (ax0, ax1) = plt.subplots(ncols=2, figsize=(12, 6))
ax0.plot(x, y, "C0.", markersize=12)
ax0.plot(x, y_, "C1.-", markersize=12)
ax0.plot(x, lr.predict(x[:, np.newaxis]), "C2-")
ax0.add_collection(lc)
ax0.legend(("Training data", "Isotonic fit", "Linear fit"), loc="lower right")
ax0.set_title("Isotonic regression fit on noisy data (n=%d)" % n)
x_test = np.linspace(-10, 110, 1000)
ax1.plot(x_test, ir.predict(x_test), "C1-")
ax1.plot(ir.X_thresholds_, ir.y_thresholds_, "C1.", markersize=12)
ax1.set_title("Prediction function (%d thresholds)" % len(ir.X_thresholds_))
plt.show()
まとめ
このチュートリアルでは、等張回帰について学びました。等張回帰は、訓練データ上の平均二乗誤差を最小化しながら、関数の非減少近似を見つける非パラメトリック回帰手法です。また、scikit - learn を使って等張回帰を実装し、線形回帰と比較しました。