Laboratoires pratiques Hadoop

Ce cours contient de nombreux laboratoires pour Hadoop. Chaque laboratoire est un petit projet Hadoop avec des instructions détaillées et des solutions. Vous pouvez améliorer vos compétences en Hadoop en complétant ces laboratoires, développer vos compétences en programmation et apprendre à écrire un code propre et efficace.

Science des donnéesLinux

💡 Ce tutoriel est traduit par l'IA à partir de la version anglaise. Pour voir la version originale, vous pouvez cliquer ici

Programme

Configuration de Hadoop HDFS

Hadoop FS Shell cat

Hadoop FS Shell ls

Hadoop FS Shell mkdir

Test du Shell Hadoop FS

Hadoop FS Shell appendToFile

Hadoop FS Shell cp

Hadoop FS Shell copyToLocal/put

Hadoop FS Shell copyFromLocal/get

Hadoop FS Shell rm

Hadoop FS Shell mv

Aventure de regroupement de données quantiques

Hadoop FS Shell chmod

Hadoop FS Shell chown

Recherche dans le FS Shell d'Hadoop

Hadoop FS Shell du

Hadoop FS Shell tail

Hadoop FS Shell stat

Hadoop FS Shell expunge

Réplication de données Hadoop

Gestion des blocs de données Hadoop

Gestion de DataNode et NameNode dans Hadoop

Gestion des instantanés Hadoop

Gestion des politiques de stockage Hadoop

Gestion des quotas Hadoop

Partitionnement Olympique avec Hadoop

Les secrets mystérieux du tri Hadoop

Hadoop Shuffle Combiner

Fusion de données sur les dinosaures avec Hadoop

Sagesse ancienne du cache distribué

Configuration de base de Hadoop YARN

Hadoop Appliquer le Planificateur

Application de commandes Hadoop Yarn

Commandes de conteneur Hadoop Yarn

Opérations spatiales avec les journaux YARN

Datopia avec Hadoop Yarn

Centre de commandement de la défense des ressources

Maîtrise de la Gestion des Ressources Ninja

La Quête du Gestionnaire de Nœuds dans les Bois Murmureux

Le parcours d'intégration de Cosmic Hive

Maîtrise des données dans l'Arène Hive

Expédition de données avec Hadoop Hive

La création de tables mythiques dans Hadoop

Découverte des données de Mars avec Hadoop

Restructuration des données rebelles avec Hadoop

Mission de perturbation des données dans un monde dystopique

Maîtrise des données célestes

Recherche d'harmonie dans les données historiques

Recherche de découvertes de données du désert

La quête des champignons Updatium dans le paysage magique de Hadoop

Optimisation du flux de données intergalactiques

Maîtrise de Hive dans le Déplacement dans le Temps

Le destin des explorateurs dévoilé avec Hadoop

Infiltration de données rebelles avec LIMIT

Données de ruines avec la magie d'Hadoop

Guide de maîtrise des dimensions de Hadoop

Intégration de données du Dragon du désert

Intégration de Hadoop pour la Quête de Données Unifiées

Optimisation des ressources spatiales avec Hadoop

Analyse des gemmes avec Hadoop

La quête de l'harmonie numérique avec Hadoop

Maîtrise des dates Hadoop pour les astronomes

La Quête de Communication Cosmique avec Hadoop

Optimisation des données de course spatiale

Le parcours d'analyse de données intergalactiques

Découvrir les trésors anciens avec Hadoop

La quête de données des moines

Exploration de l'Univers VR avec des UDF Hadoop

Maîtrise des plans de requête Hadoop

Maîtrise du stockage Hadoop dans l'Abîme

Optimisation des opérations du port spatial galactique

Schéma de Magie des Données Royales

La Magie des Données de Xara

Le Voyage de Transformation des Données Fantômes

Compression des données sur les pierres précieuses avec Hadoop

Maîtrise de la sérialisation magique

La Quête de Sécurité du Hive des Pirates

Introduction

Développez une connaissance pratique de l'écosystème Hadoop grâce à 77 laboratoires guidés et scénarisés. La collection part des opérations HDFS et contrôles de stockage, puis aborde les flux MapReduce, la gestion des ressources YARN et un vaste ensemble de tâches Hive et HiveQL.

Il s'agit d'une bibliothèque d'exercices étendue, pas d'un projet linéaire unique. Le manifeste n'impose aucun ordre : vous pouvez progresser des bases vers les sujets avancés ou sélectionner les laboratoires correspondant aux compétences à renforcer.

Ce que vous apprendrez

À la fin de ce cours, vous saurez :

  • Configurer et explorer les environnements HDFS, YARN et Hive fournis pour la pratique.
  • Lire, rechercher, transférer, supprimer, inspecter et permissionner des données HDFS avec le shell.
  • Gérer réplication, blocs, DataNodes, snapshots, politiques de stockage, quotas et nettoyage dans HDFS.
  • Appliquer des techniques shuffle MapReduce avec partitioners, tri, combiners, joins et cache distribué.
  • Inspecter applications, containers, logs, JAR, nœuds, scheduling, ResourceManager et NodeManager de YARN.
  • Créer et modifier bases et tables Hive, puis charger, insérer, mettre à jour, supprimer, importer et exporter des données.
  • Écrire en HiveQL filtres, groupes et agrégations, joins et unions, tris et distributions, fonctions et fenêtres.
  • Examiner plans, formats, partitions, buckets, schémas, I/O, compression, sérialisation, intégration et sécurité Hive.

À qui s’adresse ce cours

Ce cours s'adresse aux apprenants Hadoop qui veulent une grande réserve d'exercices guidés sur stockage, traitement, ressources et analyse de type SQL. Il aide les débutants à élargir leurs bases et les personnes déjà initiées à cibler HDFS, MapReduce, YARN ou Hive.

Prérequis : Vous devez être à l'aise avec un terminal Linux, les fichiers, les permissions et les notions de traitement de données. Des bases en Hadoop et SQL sont fortement recommandées avant MapReduce, YARN et Hive avancé, même si le cours est classé Beginner.

Environnement d’apprentissage : Les 77 laboratoires se déroulent dans des environnements Hadoop fournis avec instructions détaillées et solutions. Le travail repose surtout sur commandes et requêtes ; aucun cluster cloud externe ni compte personnel n'est indiqué comme requis.

Questions fréquentes

Dois-je effectuer les 77 laboratoires dans l'ordre ?

Non. Le cours est configuré comme collection non ordonnée et non comme séquence obligatoire. Les débutants gagneront à commencer par HDFS et les fichiers avant MapReduce, YARN et les sujets Hive avancés.

Quelle est la différence avec les Défis pratiques Hadoop ?

Hadoop Practice Labs propose 77 activités guidées dans quatre grands domaines. Hadoop Practice Challenges est une collection bien plus courte de 12 défis portant sur les commandes de fichiers HDFS.

Le cours inclut-il Spark ou Pig ?

Non. Le programme couvre HDFS, certains modèles MapReduce, YARN et Hive/HiveQL. Spark et Pig ne figurent pas parmi les 77 sujets.

Vais-je déployer et exploiter un cluster Hadoop de production ?

Non. Vous pratiquez configuration et composants dans des environnements pédagogiques. Architecture d'infrastructure, déploiement multinœud, capacité, monitoring et exploitation de production ne sont pas des résultats établis.

Enseignant

labby
Labby
Labby is the LabEx teacher.