Введение
В машинном обучении функции потерь используются для измерения разницы между предсказанным выходом и фактическим выходом. Библиотека scikit-learn предоставляет различные выпуклые функции потерь для задач классификации. В этом лабе мы визуализируем и сравниваем некоторые из этих функций потерь.
Советы по ВМ
После завершения запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Ноутбук, чтобы получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений в Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импортируем библиотеки и определяем функции
Начнем с импорта необходимых библиотек и определения модифицированной функции потерь Хьюбера.
import numpy as np
import matplotlib.pyplot as plt
def modified_huber_loss(y_true, y_pred):
z = y_pred * y_true
loss = -4 * z
loss[z >= -1] = (1 - z[z >= -1]) ** 2
loss[z >= 1.0] = 0
return loss
Определяем диапазон для функции решения
Мы определяем диапазон значений для функции решения f(x).
xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
Построение графиков функций потерь
Мы строим графики различных выпуклых функций потерь, поддерживаемых scikit-learn, с использованием библиотеки matplotlib.
lw = 2
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], color="gold", lw=lw, label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), color="teal", lw=lw, label="Hinge loss")
plt.plot(xx, -np.minimum(xx, 0), color="yellowgreen", lw=lw, label="Perceptron loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), color="cornflowerblue", lw=lw, label="Log loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0) ** 2, color="orange", lw=lw, label="Squared hinge loss")
plt.plot(xx, modified_huber_loss(xx, 1), color="darkorchid", lw=lw, linestyle="--", label="Modified Huber loss")
plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y=1, f(x))$")
plt.show()
Интерпретация графика
Мы интерпретируем график и анализируем поведение каждой функции потерь.
Резюме
В этом практическом занятии мы визуализировали и сравнивали некоторые выпуклые функции потерь, поддерживаемые scikit-learn. Понимание функций потерь является至关重要ым в машинном обучении, так как они используются для оптимизации параметров модели во время обучения.