k-Nearest-Neighbors-Regression

Einführung

Die k-Nearest-Neighbors-Regression ist ein Machine-Learning-Algorithmus, der den Wert eines neuen Datensatzes vorhersagt, indem er die k nächsten Datensätze im Trainingsdatensatz findet und deren Mittelwert verwendet, um den neuen Wert zu prognostizieren. In diesem Lab verwenden wir scikit-learn, um zu demonstrieren, wie ein Regressionsproblem mit k-Nearest-Neighbor und die Interpolation des Ziels mit sowohl Schwerpunkts- als auch konstanten Gewichten gelöst wird.

Tipps für die VM

Nachdem der Start der VM abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu öffnen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund der Einschränkungen von Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback ab, und wir werden das Problem für Sie prompt beheben.

Beispiel-Daten generieren

Wir generieren zunächst Beispiel-Daten, die wir für unser Regressionsproblem verwenden. Wir erstellen ein Array mit 40 Datensätzen mit einer Eigenschaft und erstellen dann ein Ziel-Array, indem wir die Sinusfunktion auf die Daten anwenden. Wir fügen auch an jedem fünften Datensatz etwas Rauschen hinzu.

import numpy as np
import matplotlib.pyplot as plt
from sklearn import neighbors

np.random.seed(0)
X = np.sort(5 * np.random.rand(40, 1), axis=0)
T = np.linspace(0, 5, 500)[:, np.newaxis]
y = np.sin(X).ravel()

## Add noise to targets
y[::5] += 1 * (0.5 - np.random.rand(8))

Regressionmodell anpassen

Wir passen dann unser Regressionsmodell an die Beispiel-Daten an, indem wir 5 Nachbarn und sowohl gleichmäßige als auch Abstandsgewichte verwenden. Wir verwenden eine for-Schleife, um über jeden Gewichtstyp zu iterieren, und erstellen einen Streudiagramm der Datensätze und einen Liniendiagramm der vorhergesagten Werte mithilfe der predict-Methode des angepassten Modells.

n_neighbors = 5

for i, weights in enumerate(["uniform", "distance"]):
    knn = neighbors.KNeighborsRegressor(n_neighbors, weights=weights)
    y_ = knn.fit(X, y).predict(T)

    plt.subplot(2, 1, i + 1)
    plt.scatter(X, y, color="darkorange", label="data")
    plt.plot(T, y_, color="navy", label="prediction")
    plt.axis("tight")
    plt.legend()
    plt.title("KNeighborsRegressor (k = %i, weights = '%s')" % (n_neighbors, weights))

plt.tight_layout()
plt.show()

Zusammenfassung

In diesem Lab haben wir demonstriert, wie man den k-Nearest-Neighbors-Regressionsalgorithmus verwendet, um die Werte von neuen Datensätzen anhand der k nächsten Nachbarn im Trainingsdatensatz vorherzusagen. Wir haben scikit-learn verwendet, um Beispiel-Daten zu generieren und unser Regressionsmodell mit sowohl gleichmäßigen als auch Abstandsgewichten anzupassen. Anschließend haben wir die Datensätze und die vorhergesagten Werte geplottet, um die Genauigkeit unseres Modells zu visualisieren.