Análise Discriminante Linear (LDA) | Aprendizado de Máquina | Ciência de Dados

Introdução

Este laboratório irá apresentar a Análise Discriminante Linear (LDA) e como ela pode ser usada para classificação. Usaremos a biblioteca de aprendizado de máquina popular scikit-learn, em Python, para implementar a LDA. Também exploraremos como os estimadores de covariância Ledoit-Wolf e Oracle Shrinkage Approximating (OAS) podem melhorar a classificação.

Dicas da Máquina Virtual

Após o início da VM, clique no canto superior esquerdo para mudar para a aba Notebook para acessar o Jupyter Notebook para praticar.

Às vezes, pode ser necessário aguardar alguns segundos para que o Jupyter Notebook termine de carregar. A validação de operações não pode ser automatizada devido a limitações no Jupyter Notebook.

Se você enfrentar problemas durante o aprendizado, sinta-se à vontade para perguntar ao Labby. Forneça feedback após a sessão e resolveremos o problema rapidamente para você.

Gerar Dados Aleatórios

Primeiro, precisamos gerar dados aleatórios com um recurso discriminativo e recursos ruidosos. Usaremos a função make_blobs do scikit-learn para gerar dois clusters de dados com um recurso discriminativo. Em seguida, adicionaremos ruído aleatório aos outros recursos.

import numpy as np
from sklearn.datasets import make_blobs

def generate_data(n_samples, n_features):
    """Gerar dados aleatórios em forma de blob com recursos ruidosos.

    Isto retorna uma matriz de dados de entrada com forma `(n_samples, n_features)`
    e uma matriz de rótulos de destino `n_samples`.

    Apenas um recurso contém informações discriminativas, os outros recursos
    contêm apenas ruído.
    """
    X, y = make_blobs(n_samples=n_samples, n_features=1, centers=[[-2], [2]])

    ## adicionar recursos não discriminativos
    if n_features > 1:
        X = np.hstack([X, np.random.randn(n_samples, n_features - 1)])
    return X, y

Implementar LDA

Em seguida, implementaremos LDA usando a classe LinearDiscriminantAnalysis do scikit-learn. Criaremos três classificadores:

LDA sem encolhimento
LDA com encolhimento Ledoit-Wolf
LDA com encolhimento OAS

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.covariance import OAS

clf1 = LinearDiscriminantAnalysis(solver="lsqr", shrinkage=None)
clf2 = LinearDiscriminantAnalysis(solver="lsqr", shrinkage="auto")
oa = OAS(store_precision=False, assume_centered=False)
clf3 = LinearDiscriminantAnalysis(solver="lsqr", covariance_estimator=oa)

Treinar e Testar Classificadores

Vamos treinar e testar cada classificador para ver como eles se comportam nos dados gerados. Repetimos este processo várias vezes para obter uma pontuação média de precisão.

n_train = 20  ## amostras para treino
n_test = 200  ## amostras para teste
n_averages = 50  ## quantas vezes repetir a classificação
n_features_max = 75  ## número máximo de recursos
step = 4  ## tamanho do passo para o cálculo

acc_clf1, acc_clf2, acc_clf3 = [], [], []
n_features_range = range(1, n_features_max + 1, step)

for n_features in n_features_range:
    score_clf1, score_clf2, score_clf3 = 0, 0, 0
    for _ in range(n_averages):
        X, y = generate_data(n_train, n_features)

        clf1.fit(X, y)
        clf2.fit(X, y)
        clf3.fit(X, y)

        X, y = generate_data(n_test, n_features)
        score_clf1 += clf1.score(X, y)
        score_clf2 += clf2.score(X, y)
        score_clf3 += clf3.score(X, y)

    acc_clf1.append(score_clf1 / n_averages)
    acc_clf2.append(score_clf2 / n_averages)
    acc_clf3.append(score_clf3 / n_averages)

Visualizar Resultados

Finalmente, plotaremos a precisão da classificação para cada classificador em função do número de recursos. Usaremos matplotlib para criar o gráfico.

import matplotlib.pyplot as plt

features_samples_ratio = np.array(n_features_range) / n_train

plt.plot(
    features_samples_ratio,
    acc_clf1,
    linewidth=2,
    label="LDA",
    color="gold",
    linestyle="solid",
)
plt.plot(
    features_samples_ratio,
    acc_clf2,
    linewidth=2,
    label="LDA com Ledoit Wolf",
    color="navy",
    linestyle="dashed",
)
plt.plot(
    features_samples_ratio,
    acc_clf3,
    linewidth=2,
    label="LDA com OAS",
    color="red",
    linestyle="dotted",
)

plt.xlabel("n_features / n_samples")
plt.ylabel("Precisão da classificação")

plt.legend(loc="lower left")
plt.ylim((0.65, 1.0))
plt.suptitle(
    "LDA (Análise Discriminante Linear) vs. "
    + "\n"
    + "LDA com Ledoit Wolf vs. "
    + "\n"
    + "LDA com OAS (1 recurso discriminativo)"
)
plt.show()

Resumo

Neste laboratório, aprendemos a implementar a Análise Discriminante Linear (LDA) usando o scikit-learn. Exploramos como os estimadores de covariância Ledoit-Wolf e Oracle Shrinkage Approximating (OAS) podem melhorar a precisão da classificação. Também geramos dados aleatórios com um recurso discriminativo e testamos nossos classificadores nesses dados. Finalmente, visualizamos a precisão da classificação em função do número de recursos.

Análise Discriminante Linear para Classificação