Ajuste de Curvas com Regressão de Ridge Bayesiana

Introdução

Este laboratório demonstra como usar a Regressão de Ridge Bayesiana para ajustar uma curva polinomial a dados sinusoidais. Vamos gerar dados sinusoidais com ruído, ajustá-los usando um polinômio cúbico e plotar as curvas verdadeira e prevista com a verossimilhança marginal (L) dos modelos. Podemos determinar qual é o melhor.

Dicas da Máquina Virtual

Após o término da inicialização da máquina virtual, clique no canto superior esquerdo para mudar para a aba Notebook para acessar o Jupyter Notebook para praticar.

Às vezes, pode ser necessário aguardar alguns segundos para que o Jupyter Notebook termine de carregar. A validação das operações não pode ser automatizada devido a limitações no Jupyter Notebook.

Se você enfrentar problemas durante o aprendizado, sinta-se à vontade para perguntar ao Labby. Forneça feedback após a sessão e resolveremos o problema rapidamente para você.

Gerar dados sinusoidais com ruído

Começamos gerando dados sinusoidais com ruído.

import numpy as np

def func(x):
    return np.sin(2 * np.pi * x)

size = 25
rng = np.random.RandomState(1234)
x_train = rng.uniform(0.0, 1.0, size)
y_train = func(x_train) + rng.normal(scale=0.1, size=size)
x_test = np.linspace(0.0, 1.0, 100)

Ajustar por polinômio cúbico

Ajustamos os dados usando um polinômio cúbico.

from sklearn.linear_model import BayesianRidge

n_order = 3
X_train = np.vander(x_train, n_order + 1, increasing=True)
X_test = np.vander(x_test, n_order + 1, increasing=True)
reg = BayesianRidge(tol=1e-6, fit_intercept=False, compute_score=True)

Plotar as curvas verdadeira e prevista com a verossimilhança marginal (L)

Plotamos as curvas verdadeira e prevista com a verossimilhança marginal (L).

import matplotlib.pyplot as plt

fig, axes = plt.subplots(1, 2, figsize=(8, 4))
for i, ax in enumerate(axes):
    ## Regressão de ridge bayesiana com diferentes pares de valores iniciais
    if i == 0:
        init = [1 / np.var(y_train), 1.0]  ## Valores padrão
    elif i == 1:
        init = [1.0, 1e-3]
        reg.set_params(alpha_init=init[0], lambda_init=init[1])
    reg.fit(X_train, y_train)
    ymean, ystd = reg.predict(X_test, return_std=True)

    ax.plot(x_test, func(x_test), color="blue", label="sin($2\\pi x$)")
    ax.scatter(x_train, y_train, s=50, alpha=0.5, label="observação")
    ax.plot(x_test, ymean, color="red", label="prever média")
    ax.fill_between(
        x_test, ymean - ystd, ymean + ystd, color="pink", alpha=0.5, label="prever desvio padrão"
    )
    ax.set_ylim(-1.3, 1.3)
    ax.legend()
    title = "$\\alpha$_init$={:.2f},\\ \\lambda$_init$={}$".format(init[0], init[1])
    if i == 0:
        title += " (Padrão)"
    ax.set_title(title, fontsize=12)
    text = "$\\alpha={:.1f}$\n$\\lambda={:.3f}$\n$L={:.1f}$".format(
        reg.alpha_, reg.lambda_, reg.scores_[-1]
    )
    ax.text(0.05, -1.0, text, fontsize=12)

plt.tight_layout()
plt.show()

Resumo

A Regressão de Ridge Bayesiana é uma técnica poderosa para ajuste de curvas que pode ser usada para ajustar dados a uma curva polinomial. Iterando sobre diferentes valores iniciais para os parâmetros de regularização, podemos encontrar o melhor ajuste para os dados fornecidos.