Scikit-Learn Ridge Regression Beispiel

Einführung

In diesem Lab wird gezeigt, wie Ridge Regression zur Schätzung von kollinearen Koeffizienten eines Schätzers verwendet wird. Ridge Regression ist eine Art von linearer Regression, die L2-Regularisierung auf das Modell anwendet.

In diesem Beispiel werden wir eine 10x10-Hilbert-Matrix generieren und Ridge Regression verwenden, um die Koeffizienten der Matrix zu schätzen.

Tipps für die virtuelle Maschine

Nachdem der Start der virtuellen Maschine abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund der Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.

Importieren der erforderlichen Bibliotheken

In diesem Schritt importieren wir die erforderlichen Bibliotheken für dieses Beispiel.

import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model

Daten generieren

In diesem Schritt werden wir eine 10x10-Hilbert-Matrix generieren und die Zielfunktion y als Vektor aus Einsen festlegen.

X = 1.0 / (np.arange(1, 11) + np.arange(0, 10)[:, np.newaxis])
y = np.ones(10)

Ridge-Regressionswege berechnen

In diesem Schritt berechnen wir die Ridge-Regressionswege für verschiedene Regularisierungskräfte.

n_alphas = 200
alphas = np.logspace(-10, -2, n_alphas)

coefs = []
for a in alphas:
    ridge = linear_model.Ridge(alpha=a, fit_intercept=False)
    ridge.fit(X, y)
    coefs.append(ridge.coef_)

Ergebnisse visualisieren

In diesem Schritt werden wir die Ergebnisse der Ridge-Regressionswege visualisieren.

ax = plt.gca()

ax.plot(alphas, coefs)
ax.set_xscale("log")
ax.set_xlim(ax.get_xlim()[::-1])  ## reverse axis
plt.xlabel("alpha")
plt.ylabel("weights")
plt.title("Ridge coefficients as a function of the regularization")
plt.axis("tight")
plt.show()

Zusammenfassung

In diesem Lab haben wir gezeigt, wie man Ridge Regression zur Schätzung von kollinearen Koeffizienten eines Schätzers verwendet. Wir haben eine 10x10-Hilbert-Matrix generiert und Ridge Regression verwendet, um die Koeffizienten der Matrix zu schätzen. Anschließend haben wir die Ergebnisse der Ridge-Regressionswege visualisiert. Ridge Regression ist nützlich, um die Variation (Rauschen) in stark schlecht konditionierten Matrizen zu reduzieren. Indem wir eine bestimmte Regularisierungskraft festlegen, können wir den Effekt der Regularisierung und der quadratischen Verlustfunktion abwägen.