Lasso и Elastic Net

Введение

В этом руководстве мы узнаем о Lasso и Elastic Net, которые являются методами линейной регрессии, реализованными с использованием координатного спуска. Мы научимся вычислять регуляризационные пути с использованием Lasso и Elastic Net, а также как отображать результаты с использованием matplotlib.

Советы по работе с ВМ

После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Загрузка датасета

В этом шаге мы загрузим датасет по диабету из библиотеки scikit-learn и стандартизируем данные.

from sklearn import datasets

## Load the diabetes dataset
X, y = datasets.load_diabetes(return_X_y=True)

## Standardize data
X /= X.std(axis=0)

Вычисление регуляризационного пути с использованием Lasso

В этом шаге мы вычислим регуляризационный путь с использованием метода Lasso и отобразим результаты с использованием matplotlib.

from sklearn.linear_model import lasso_path
import numpy as np
import matplotlib.pyplot as plt

## Set the value of eps
eps = 5e-3

## Compute regularization path using the Lasso
alphas_lasso, coefs_lasso, _ = lasso_path(X, y, eps=eps)

## Display the results using matplotlib
plt.figure(1)
colors = cycle(["b", "r", "g", "c", "k"])
neg_log_alphas_lasso = -np.log10(alphas_lasso)
for coef_l, c in zip(coefs_lasso, colors):
    l1 = plt.plot(neg_log_alphas_lasso, coef_l, c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Lasso Path")
plt.axis("tight")
plt.show()

Вычисление регуляризационного пути с использованием положительного Lasso

В этом шаге мы вычислим регуляризационный путь с использованием положительного метода Lasso и отобразим результаты с использованием matplotlib.

## Compute regularization path using the positive Lasso
alphas_positive_lasso, coefs_positive_lasso, _ = lasso_path(X, y, eps=eps, positive=True)

## Display the results using matplotlib
plt.figure(2)
neg_log_alphas_positive_lasso = -np.log10(alphas_positive_lasso)
for coef_l, coef_pl, c in zip(coefs_lasso, coefs_positive_lasso, colors):
    l1 = plt.plot(neg_log_alphas_lasso, coef_l, c=c)
    l2 = plt.plot(neg_log_alphas_positive_lasso, coef_pl, linestyle="--", c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Lasso и Positive Lasso")
plt.legend((l1[-1], l2[-1]), ("Lasso", "Positive Lasso"), loc="lower left")
plt.axis("tight")
plt.show()

Вычисление регуляризационного пути с использованием Elastic Net

В этом шаге мы вычислим регуляризационный путь с использованием метода Elastic Net и отобразим результаты с использованием matplotlib.

from sklearn.linear_model import enet_path

## Compute regularization path using the Elastic Net
alphas_enet, coefs_enet, _ = enet_path(X, y, eps=eps, l1_ratio=0.8)

## Display the results using matplotlib
plt.figure(3)
neg_log_alphas_enet = -np.log10(alphas_enet)
for coef_e, c in zip(coefs_enet, colors):
    l1 = plt.plot(neg_log_alphas_enet, coef_e, c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Elastic Net Path")
plt.axis("tight")
plt.show()

Вычисление регуляризационного пути с использованием положительного Elastic Net

В этом шаге мы вычислим регуляризационный путь с использованием положительного метода Elastic Net и отобразим результаты с использованием matplotlib.

## Compute regularization path using the positive Elastic Net
alphas_positive_enet, coefs_positive_enet, _ = enet_path(X, y, eps=eps, l1_ratio=0.8, positive=True)

## Display the results using matplotlib
plt.figure(4)
neg_log_alphas_positive_enet = -np.log10(alphas_positive_enet)
for coef_e, coef_pe, c in zip(coefs_enet, coefs_positive_enet, colors):
    l1 = plt.plot(neg_log_alphas_enet, coef_e, c=c)
    l2 = plt.plot(neg_log_alphas_positive_enet, coef_pe, linestyle="--", c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Elastic Net и Positive Elastic Net")
plt.legend((l1[-1], l2[-1]), ("Elastic Net", "Positive Elastic Net"), loc="lower left")
plt.axis("tight")
plt.show()

Резюме

В этом уроке мы узнали о Lasso и Elastic Net, которые являются методами линейной регрессии. Мы узнали, как вычислять регуляризационные пути с использованием Lasso и Elastic Net, и как отображать результаты с использованием matplotlib. Мы также узнали, как вычислять регуляризационный путь с использованием положительных методов Lasso и Elastic Net.