Введение
В этом практическом занятии мы узнаем о SGDClassifier и SGDRegressor в scikit-learn и о том, как их использовать для применения штрафов L1, L2 и эластичного сетевого типа к данным.
Советы по работе с ВМ
После запуска виртуальной машины кликните в верхнем левом углу, чтобы переключиться на вкладку Ноутбук и получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импорт библиотек
Первым шагом является импорт необходимых библиотек. Мы будем использовать numpy, matplotlib и scikit-learn.
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDClassifier, SGDRegressor
Генерация данных
Мы сгенерируем некоторые образцы данных, на которых будем применять наши штрафы. Для этого примера мы сгенерируем два класса данных по 100 образцов в каждом.
np.random.seed(42)
## Generate two classes of data
X = np.random.randn(200, 2)
y = np.repeat([1, -1], 100)
Применение L1-штрафа
Теперь мы применим L1-штраф к нашим данным с использованием SGDClassifier.
## Create a classifier with L1 penalty
clf = SGDClassifier(loss='hinge', penalty='l1', alpha=0.05, max_iter=1000, tol=1e-3)
## Fit the model
clf.fit(X, y)
## Plot the decision boundary
plt.scatter(X[:, 0], X[:, 1], c=y)
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 201), np.linspace(ylim[0], ylim[1], 201))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
ax.contour(xx, yy, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
ax.set_xlim(xlim)
ax.set_ylim(ylim)
plt.title('L1 Penalty')
plt.show()
Применение L2-штрафа
Теперь мы применим L2-штраф к нашим данным с использованием SGDClassifier.
## Create a classifier with L2 penalty
clf = SGDClassifier(loss='hinge', penalty='l2', alpha=0.05, max_iter=1000, tol=1e-3)
## Fit the model
clf.fit(X, y)
## Plot the decision boundary
plt.scatter(X[:, 0], X[:, 1], c=y)
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 201), np.linspace(ylim[0], ylim[1], 201))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
ax.contour(xx, yy, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
ax.set_xlim(xlim)
ax.set_ylim(ylim)
plt.title('L2 Penalty')
plt.show()
Применение эластичного сетевого штрафа
Теперь мы применим эластичный сетевой штраф к нашим данным с использованием SGDClassifier.
## Create a classifier with elastic-net penalty
clf = SGDClassifier(loss='hinge', penalty='elasticnet', alpha=0.05, l1_ratio=0.15, max_iter=1000, tol=1e-3)
## Fit the model
clf.fit(X, y)
## Plot the decision boundary
plt.scatter(X[:, 0], X[:, 1], c=y)
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 201), np.linspace(ylim[0], ylim[1], 201))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
ax.contour(xx, yy, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
ax.set_xlim(xlim)
ax.set_ylim(ylim)
plt.title('Elastic-Net Penalty')
plt.show()
Резюме
В этом практическом занятии мы узнали, как применить L1-, L2- и эластичный сетевой штрафы к данным с использованием SGDClassifier в scikit-learn. Мы сгенерировали образцы данных, применили штрафы и построили границы решения. Это полезный инструмент для регуляризации в моделях машинного обучения, особенно для предотвращения переобучения.