Atualizar uma partição de dados do Hive é um projeto prático para quem conhece consultas básicas do Hive e quer corrigir um histórico com cuidado. Um espaço de eventos aprovou um novo conjunto completo de visitas confirmadas para datas específicas. Você substituirá essas datas, tratará uma data aprovada sem visitas confirmadas e manterá todas as outras datas e os dados de origem intactos.
O curso contém um laboratório guiado e um desafio independente. O laboratório guiado compara a adição de registros, a substituição de uma tabela inteira e a substituição de uma partição estática em tabelas de exercício separadas antes de corrigir o histórico ORC real do exercício. O desafio apresenta novas datas e registros candidatos, incluindo dados fora do escopo aprovado.
O que você aprenderá
Ao concluir o curso, você poderá:
- inspecionar os locais das tabelas externas, as colunas de partição e os formatos de armazenamento antes de uma correção;
- distinguir a substituição completa de uma data da adição de novos registros;
- escolher uma partição de destino estática e filtrar separadamente os registros confirmados da fonte correspondente;
- esvaziar uma data aprovada cujo conjunto completo de substituição não contém visitas confirmadas, mantendo a partição registrada;
- preservar os registros de datas não aprovadas, seus arquivos HDFS originais e as definições e os dados das fontes fornecidas;
- salvar e executar SQL, repetir o mesmo arquivo e verificar todo o histórico por meio de consultas de leitura.
Para quem é este curso
Este curso é indicado para estudantes com conhecimentos introdutórios de Hive que desejam praticar uma correção de dados com limites de aprovação bem definidos.
Pré-requisitos: Navegação básica no Terminal, caminhos HDFS, tabelas externas do Hive, SELECT com WHERE, colunas de partição e ORC. O laboratório guiado explica a sobrescrita de partições estáticas e a sintaxe do shell usada para salvar SQL.
Ambiente de aprendizagem: Cada unidade oferece seu próprio ambiente Linux preparado com Hive, HDFS, registros de origem e um histórico inicial. Você trabalha na aba Terminal do navegador, sem instalação local. Os comandos, os dados e as saídas de execução permanecem em inglês.
Perguntas frequentes
Preciso instalar o Hive ou o Hadoop?
Não. Os serviços e os dados do curso estão preparados em cada unidade. Você pode se concentrar em ler o histórico, determinar o escopo aprovado e aplicar a correção.
Uma correção atualiza registros individuais?
Aqui, os dados candidatos aprovados representam o conjunto completo de visitas confirmadas de uma data. Substituir esse conjunto remove os registros antigos, incluindo todos os registros anteriores quando a substituição aprovada está vazia.
Como o desafio amplia o laboratório guiado?
Você inspeciona de forma independente uma nova lista de aprovação e os dados candidatos, aplica o mesmo mecanismo de substituição e preserva dados posteriores de datas não aprovadas. O desafio é inicializado de forma independente e não depende de arquivos do laboratório guiado.
