Comparación de Funciones de Pérdida Convexa

Introducción

En el aprendizaje automático, las funciones de pérdida se utilizan para medir la diferencia entre la salida prevista y la salida real. La librería scikit-learn proporciona varias funciones de pérdida convexa para problemas de clasificación. En este laboratorio, visualizaremos y compararemos algunas de estas funciones de pérdida.

Consejos sobre la VM

Una vez que se haya iniciado la VM, haga clic en la esquina superior izquierda para cambiar a la pestaña Cuaderno y acceder a Jupyter Notebook para practicar.

A veces, es posible que tenga que esperar unos segundos a que Jupyter Notebook termine de cargarse. La validación de las operaciones no se puede automatizar debido a las limitaciones de Jupyter Notebook.

Si tiene problemas durante el aprendizaje, no dude en preguntar a Labby. Deje sus comentarios después de la sesión y lo resolveremos rápidamente para usted.

Importar bibliotecas y definir funciones

Comenzamos importando las bibliotecas necesarias y definiendo la función de pérdida de Huber modificada.

import numpy as np
import matplotlib.pyplot as plt

def modified_huber_loss(y_true, y_pred):
    z = y_pred * y_true
    loss = -4 * z
    loss[z >= -1] = (1 - z[z >= -1]) ** 2
    loss[z >= 1.0] = 0
    return loss

Definir el rango para la función de decisión

Definimos el rango de valores para la función de decisión f(x).

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)

Graficar las funciones de pérdida

Graficamos las diversas funciones de pérdida convexa admitidas por scikit-learn utilizando la librería matplotlib.

lw = 2
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], color="gold", lw=lw, label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), color="teal", lw=lw, label="Hinge loss")
plt.plot(xx, -np.minimum(xx, 0), color="yellowgreen", lw=lw, label="Perceptron loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), color="cornflowerblue", lw=lw, label="Log loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0) ** 2, color="orange", lw=lw, label="Squared hinge loss")
plt.plot(xx, modified_huber_loss(xx, 1), color="darkorchid", lw=lw, linestyle="--", label="Modified Huber loss")
plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y=1, f(x))$")
plt.show()

Interpretar la gráfica

Interpretamos la gráfica y analizamos el comportamiento de cada función de pérdida.

Resumen

En este laboratorio, visualizamos y comparamos algunas de las funciones de pérdida convexa admitidas por scikit-learn. Comprender las funciones de pérdida es crucial en el aprendizaje automático, ya que se utilizan para optimizar los parámetros del modelo durante el entrenamiento.