Введение
В этом уроке мы узнаем о изотонном регрессионном анализе, который представляет собой непараметрический метод регрессии, позволяющий найти неубывающую аппроксимацию функции с минимизацией среднеквадратичной ошибки на тренировочных данных. Мы будем использовать scikit-learn, популярную библиотеку машинного обучения для Python, для реализации изотонного регрессионного анализа и сравнения его с линейной регрессией.
Советы по использованию ВМ
После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы столкнетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импортируем необходимые библиотеки
Начнем с импорта необходимых библиотек для этого урока, таких как NumPy, Matplotlib и scikit-learn.
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.collections import LineCollection
from sklearn.linear_model import LinearRegression
from sklearn.isotonic import IsotonicRegression
from sklearn.utils import check_random_state
Генерируем данные
Далее мы сгенерируем некоторые данные, которые будем использовать для нашей регрессии. Мы создадим нелинейную монотонную тенденцию с гомоскедастическим равномерным шумом.
n = 100
x = np.arange(n)
rs = check_random_state(0)
y = rs.randint(-50, 50, size=(n,)) + 50.0 * np.log1p(np.arange(n))
Обучаем модели изотонной и линейной регрессии
Теперь мы обучим обе модели: изотонную и линейную регрессию на сгенерированных данных.
ir = IsotonicRegression(out_of_bounds="clip")
y_ = ir.fit_transform(x, y)
lr = LinearRegression()
lr.fit(x[:, np.newaxis], y) ## x needs to be 2d for LinearRegression
Построение графиков результатов
Наконец, мы построим графики результатов обеих регрессионных моделей, чтобы визуализировать, насколько хорошо они соответствуют данным.
segments = [[[i, y[i]], [i, y_[i]]] for i in range(n)]
lc = LineCollection(segments, zorder=0)
lc.set_array(np.ones(len(y)))
lc.set_linewidths(np.full(n, 0.5))
fig, (ax0, ax1) = plt.subplots(ncols=2, figsize=(12, 6))
ax0.plot(x, y, "C0.", markersize=12)
ax0.plot(x, y_, "C1.-", markersize=12)
ax0.plot(x, lr.predict(x[:, np.newaxis]), "C2-")
ax0.add_collection(lc)
ax0.legend(("Training data", "Isotonic fit", "Linear fit"), loc="lower right")
ax0.set_title("Isotonic regression fit on noisy data (n=%d)" % n)
x_test = np.linspace(-10, 110, 1000)
ax1.plot(x_test, ir.predict(x_test), "C1-")
ax1.plot(ir.X_thresholds_, ir.y_thresholds_, "C1.", markersize=12)
ax1.set_title("Prediction function (%d thresholds)" % len(ir.X_thresholds_))
plt.show()
Резюме
В этом уроке мы узнали о изотонной регрессии - непараметрической технике регрессии, которая находит неубывающую аппроксимацию функции, минимизируя среднеквадратичную ошибку на обучающих данных. Мы также реализовали изотонную регрессию с использованием scikit - learn и сравнили ее с линейной регрессией.