Lasso y Elastic Net

Introducción

En este tutorial, aprenderemos sobre Lasso y Elastic Net, que son técnicas utilizadas para la regresión lineal y se implementan utilizando un descenso coordenado. Aprenderemos cómo calcular las trayectorias de regularización utilizando Lasso y Elastic Net, y cómo mostrar los resultados utilizando matplotlib.

Consejos sobre la VM

Una vez que se haya iniciado la VM, haga clic en la esquina superior izquierda para cambiar a la pestaña Cuaderno y acceder a Jupyter Notebook para practicar.

A veces, es posible que tenga que esperar unos segundos a que Jupyter Notebook termine de cargarse. La validación de las operaciones no se puede automatizar debido a las limitaciones de Jupyter Notebook.

Si tiene problemas durante el aprendizaje, no dude en preguntar a Labby. Deje sus comentarios después de la sesión y lo resolveremos rápidamente para usted.

Cargar el conjunto de datos

En este paso, cargaremos el conjunto de datos de diabetes de la biblioteca scikit-learn y estandarizaremos los datos.

from sklearn import datasets

## Cargar el conjunto de datos de diabetes
X, y = datasets.load_diabetes(return_X_y=True)

## Estandarizar datos
X /= X.std(axis=0)

Calcular la trayectoria de regularización usando Lasso

En este paso, calcularemos la trayectoria de regularización usando la técnica de Lasso y mostraremos los resultados usando matplotlib.

from sklearn.linear_model import lasso_path
import numpy as np
import matplotlib.pyplot as plt

## Establece el valor de eps
eps = 5e-3

## Calcula la trayectoria de regularización usando Lasso
alphas_lasso, coefs_lasso, _ = lasso_path(X, y, eps=eps)

## Muestra los resultados usando matplotlib
plt.figure(1)
colors = cycle(["b", "r", "g", "c", "k"])
neg_log_alphas_lasso = -np.log10(alphas_lasso)
for coef_l, c in zip(coefs_lasso, colors):
    l1 = plt.plot(neg_log_alphas_lasso, coef_l, c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Lasso Path")
plt.axis("tight")
plt.show()

Calcular la trayectoria de regularización usando Lasso positivo

En este paso, calcularemos la trayectoria de regularización usando la técnica de Lasso positivo y mostraremos los resultados usando matplotlib.

## Calcular la trayectoria de regularización usando Lasso positivo
alphas_positive_lasso, coefs_positive_lasso, _ = lasso_path(X, y, eps=eps, positive=True)

## Mostrar los resultados usando matplotlib
plt.figure(2)
neg_log_alphas_positive_lasso = -np.log10(alphas_positive_lasso)
for coef_l, coef_pl, c in zip(coefs_lasso, coefs_positive_lasso, colors):
    l1 = plt.plot(neg_log_alphas_lasso, coef_l, c=c)
    l2 = plt.plot(neg_log_alphas_positive_lasso, coef_pl, linestyle="--", c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Lasso y Lasso positivo")
plt.legend((l1[-1], l2[-1]), ("Lasso", "Lasso positivo"), loc="lower left")
plt.axis("tight")
plt.show()

Calcular la trayectoria de regularización usando Elastic Net

En este paso, calcularemos la trayectoria de regularización usando la técnica de Elastic Net y mostraremos los resultados usando matplotlib.

from sklearn.linear_model import enet_path

## Calcular la trayectoria de regularización usando Elastic Net
alphas_enet, coefs_enet, _ = enet_path(X, y, eps=eps, l1_ratio=0.8)

## Mostrar los resultados usando matplotlib
plt.figure(3)
neg_log_alphas_enet = -np.log10(alphas_enet)
for coef_e, c in zip(coefs_enet, colors):
    l1 = plt.plot(neg_log_alphas_enet, coef_e, c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Trayectoria de Elastic Net")
plt.axis("tight")
plt.show()

Calcular la trayectoria de regularización usando Elastic Net positivo

En este paso, calcularemos la trayectoria de regularización usando la técnica de Elastic Net positivo y mostraremos los resultados usando matplotlib.

## Calcular la trayectoria de regularización usando Elastic Net positivo
alphas_positive_enet, coefs_positive_enet, _ = enet_path(X, y, eps=eps, l1_ratio=0.8, positive=True)

## Mostrar los resultados usando matplotlib
plt.figure(4)
neg_log_alphas_positive_enet = -np.log10(alphas_positive_enet)
for coef_e, coef_pe, c in zip(coefs_enet, coefs_positive_enet, colors):
    l1 = plt.plot(neg_log_alphas_enet, coef_e, c=c)
    l2 = plt.plot(neg_log_alphas_positive_enet, coef_pe, linestyle="--", c=c)

plt.xlabel("-Log(alpha)")
plt.ylabel("coefficients")
plt.title("Elastic Net y Elastic Net positivo")
plt.legend((l1[-1], l2[-1]), ("Elastic Net", "Elastic Net positivo"), loc="lower left")
plt.axis("tight")
plt.show()

Resumen

En este tutorial, aprendimos sobre Lasso y Elastic Net, que son técnicas utilizadas para la regresión lineal. Aprendimos cómo calcular las trayectorias de regularización usando Lasso y Elastic Net, y cómo mostrar los resultados usando matplotlib. También aprendimos cómo calcular la trayectoria de regularización usando las técnicas de Lasso positivo y Elastic Net positivo.