Geração de Lotes Balanceados para Conjuntos de Dados Desbalanceados

# Introdução

Um conjunto de dados desbalanceado refere-se a um conjunto de dados onde o número de amostras em cada classe é altamente desigual. Por exemplo, em um problema de classificação binária, se houver 999 amostras da classe positiva e apenas 1 amostra da classe negativa no conjunto de treinamento, o modelo terá um custo de penalidade muito baixo ao prever amostras da classe positiva. Como resultado, a acurácia do treinamento pode chegar a 99,9%.

No entanto, quando o modelo entra em produção, você descobrirá que ele não consegue prever amostras da classe negativa, como diz o ditado, "poderoso offline, estúpido online".

Essa situação é bastante comum na área médica, como na previsão de classificação binária para um certo tipo de câncer. O conjunto de treinamento consiste nas características de todos os pacientes de um hospital e se eles possuem o rótulo de câncer. No entanto, a taxa de incidência desse tipo de câncer na área local é muito baixa, de modo que o conjunto de dados é desbalanceado. É provável que o modelo preveja que um paciente não tem esse tipo de câncer. Mas quando esse modelo é usado para prever em outra área com alta taxa de incidência, a acurácia das previsões do modelo será muito baixa.

Soluções comuns para lidar com conjuntos de dados desbalanceados incluem:

1. Projetar funções de perda que penalizam mais o modelo quando ele prevê incorretamente amostras pertencentes à classe majoritária, como a comumente usada Focal Loss.
2. Realizar *oversampling* (aumento de amostragem) das amostras da classe minoritária para aumentar sua frequência em um lote de dados de treinamento.
3. Realizar *undersampling* (redução de amostragem) das amostras da classe majoritária para diminuir sua frequência em um lote de dados de treinamento.

Neste desafio, trabalharemos com um conjunto de dados desbalanceado onde o número de amostras em cada classe é altamente desigual. A tarefa é implementar a funcionalidade de *oversampling* e *undersampling* para tornar a distribuição das amostras o mais balanceada possível dentro de um lote. Isso ajudará a resolver os desafios enfrentados na previsão precisa de amostras da classe minoritária e a melhorar a acurácia geral do modelo.