Mettre à jour une partition de données Hive est un projet pratique destiné aux personnes qui connaissent les requêtes Hive de base et souhaitent corriger une archive avec soin. Un établissement a approuvé un nouveau jeu complet de visites confirmées pour certaines dates. Vous remplacerez ces dates, traiterez une date approuvée sans visite confirmée et conserverez toutes les autres dates ainsi que les données sources d’origine.
Le cours comprend un laboratoire guidé et un défi autonome. Le laboratoire guidé compare l’ajout, le remplacement d’une table entière et le remplacement d’une partition statique sur des tables d’exercice jetables avant de corriger la véritable archive ORC. Le défi propose de nouvelles dates et de nouveaux enregistrements candidats, dont certains ne relèvent pas de l’approbation.
Ce que vous apprendrez
À la fin du cours, vous saurez :
- inspecter les emplacements des tables externes, les colonnes de partition et les formats de stockage avant une correction ;
- distinguer le remplacement complet d’une date de l’ajout de nouveaux enregistrements ;
- choisir une partition de destination statique et filtrer séparément les enregistrements confirmés de la source correspondante ;
- vider une date approuvée dont le jeu complet de remplacement ne contient aucune visite confirmée, tout en conservant la partition enregistrée ;
- préserver les enregistrements des dates non approuvées, leurs fichiers HDFS d’origine ainsi que les définitions et les données sources fournies ;
- enregistrer et exécuter du SQL, relancer le même fichier et vérifier toute l’archive à l’aide de requêtes de consultation.
À qui s’adresse ce cours
Ce cours s’adresse aux personnes ayant des bases de Hive et souhaitant pratiquer une correction de données strictement limitée au périmètre approuvé.
Prérequis : Navigation de base dans Terminal, chemins HDFS, tables externes Hive, SELECT avec WHERE, colonnes de partition et ORC. Le laboratoire guidé explique l’écrasement d’une partition statique et la syntaxe du shell utilisée pour enregistrer le SQL.
Environnement d’apprentissage : Chaque unité dispose de son propre environnement Linux préparé avec Hive, HDFS, les enregistrements sources et une archive initiale. Vous travaillez dans l’onglet Terminal du navigateur, sans installation locale. Les commandes, les données et les sorties d’exécution restent en anglais.
Questions fréquentes
Dois-je installer Hive ou Hadoop ?
Non. Les services et les données du cours sont préparés pour chaque unité. Vous pouvez vous concentrer sur la lecture de l’archive, la délimitation du périmètre approuvé et l’application de la correction.
Une correction consiste-t-elle à modifier chaque enregistrement séparément ?
Ici, les données candidates approuvées constituent le jeu complet des visites confirmées d’une date. Leur remplacement supprime les anciens enregistrements, y compris tous les enregistrements antérieurs lorsque le remplacement approuvé est vide.
Comment le défi prolonge-t-il le laboratoire guidé ?
Vous examinez en autonomie une nouvelle liste d’approbation et de nouvelles données candidates, appliquez le même mécanisme de remplacement et préservez les données ultérieures non approuvées. Le défi est initialisé indépendamment et ne dépend pas des fichiers du laboratoire guidé.
