Regressão Multi-Saída com Árvores de Decisão

Introdução

Este laboratório guiará você por um exemplo de regressão multi-saída com árvore de decisão. Você verá como as árvores de decisão são usadas para prever simultaneamente as observações ruidosas x e y de um círculo, dada uma única característica subjacente. Como resultado, aprende regressões lineares locais que aproximam o círculo.

Dicas da Máquina Virtual

Após o término da inicialização da máquina virtual, clique no canto superior esquerdo para mudar para a aba Notebook para acessar o Jupyter Notebook para praticar.

Às vezes, pode ser necessário aguardar alguns segundos para que o Jupyter Notebook termine de carregar. A validação das operações não pode ser automatizada devido a limitações no Jupyter Notebook.

Se você enfrentar problemas durante o aprendizado, sinta-se à vontade para perguntar ao Labby. Forneça feedback após a sessão e resolveremos prontamente o problema para você.

Importar Bibliotecas

Neste passo, importamos as bibliotecas necessárias: numpy, matplotlib.pyplot e DecisionTreeRegressor de sklearn.tree.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor

Criar um Conjunto de Dados Aleatório

Neste passo, criaremos um conjunto de dados aleatório. Usaremos a biblioteca numpy para criar um array ordenado de 100 elementos, com valores aleatórios de 0 a 200, depois subtrairemos 100 de cada elemento. Em seguida, usaremos numpy para calcular o seno e o cosseno de cada elemento e juntar esses arrays em um array 2D com forma (100, 2) para criar o array y. Também adicionaremos ruído aleatório a cada quinto elemento.

## Criar um conjunto de dados aleatório
rng = np.random.RandomState(1)
X = np.sort(200 * rng.rand(100, 1) - 100, axis=0)
y = np.array([np.pi * np.sin(X).ravel(), np.pi * np.cos(X).ravel()]).T
y[::5, :] += 0.5 - rng.rand(20, 2)

Ajustar o Modelo de Regressão

Neste passo, ajustaremos modelos de regressão. Usaremos DecisionTreeRegressor de sklearn.tree para ajustar três modelos diferentes com profundidades máximas diferentes.

## Ajustar o modelo de regressão
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_3 = DecisionTreeRegressor(max_depth=8)
regr_1.fit(X, y)
regr_2.fit(X, y)
regr_3.fit(X, y)

Predizer

Neste passo, faremos previsões usando os modelos criados no passo anterior. Usaremos np.arange para criar um novo array de valores de -100 a 100 com um intervalo de 0,01 e, em seguida, usaremos o método predict dos nossos modelos para prever a saída.

## Predizer
X_test = np.arange(-100.0, 100.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)
y_3 = regr_3.predict(X_test)

Plotar os Resultados

Neste passo, plotaremos os resultados. Usaremos matplotlib.pyplot para criar um gráfico de dispersão dos dados originais e das previsões dos três modelos. Também adicionaremos rótulos e título ao gráfico.

## Plotar os resultados
plt.figure()
s = 25
plt.scatter(y[:, 0], y[:, 1], c="navy", s=s, edgecolor="black", label="dados")
plt.scatter(
    y_1[:, 0],
    y_1[:, 1],
    c="cornflowerblue",
    s=s,
    edgecolor="black",
    label="max_depth=2",
)
plt.scatter(y_2[:, 0], y_2[:, 1], c="red", s=s, edgecolor="black", label="max_depth=5")
plt.scatter(
    y_3[:, 0], y_3[:, 1], c="orange", s=s, edgecolor="black", label="max_depth=8"
)
plt.xlim([-6, 6])
plt.ylim([-6, 6])
plt.xlabel("alvo 1")
plt.ylabel("alvo 2")
plt.title("Regressão de Árvore de Decisão Multi-saída")
plt.legend(loc="best")
plt.show()

Resumo

Neste laboratório, aprendemos a utilizar árvores de decisão para regressão multi-saída. Criámos um conjunto de dados aleatório, ajustámos modelos de regressão, fizemos previsões e plotamos os resultados. As árvores de decisão aprenderam regressões lineares locais, aproximando um círculo. Também vimos que, se a profundidade máxima da árvore for definida muito alta, as árvores de decisão aprendem detalhes muito específicos dos dados de treino e aprendem com o ruído, ou seja, elas sofrem de sobreajuste.