Hadoop pour les débutants présente le stockage de données massives et le traitement par lots à travers les fichiers quotidiens d'un commerçant. Dans un véritable environnement Hadoop, vous découvrirez les rôles de HDFS, MapReduce et YARN avant de préparer les entrées, lancer un calcul et vérifier ses résultats.
Le cours comprend 9 labs guidés et 3 défis. Les labs expliquent les concepts et les opérations ; les défis combinent les acquis sur de nouvelles données. Chaque activité prépare ses propres fichiers et services.
Ce que vous apprendrez
Après ce cours, vous pourrez :
- distinguer fichiers locaux et HDFS et examiner la configuration Hadoop ;
- téléverser, organiser, copier et exporter des fichiers en préservant les entrées ;
- inspecter les blocs et réplicas et tester les permissions des fichiers et répertoires ;
- suivre les paires clé/valeur dans Map, Shuffle et Reduce ;
- soumettre des traitements YARN, lire états et journaux, vérifier les résultats et relancer vers des sorties séparées ;
- diagnostiquer les entrées manquantes, conflits de sortie, erreurs de connexion et tâches en échec.
À qui s’adresse ce cours
Aux personnes débutant en big data ou en ingénierie des données qui souhaitent utiliser un système Hadoop préparé avant d'étudier l'administration de clusters.
Prérequis : Utilisation élémentaire du terminal. Aucune connaissance de Hadoop, Java ou Python n'est nécessaire.
Environnement d’apprentissage : LabEx fournit un terminal Linux préparé dans le navigateur. L'environnement à un nœud enseigne de véritables opérations Hadoop ; le déploiement de clusters de production est hors programme.
Questions fréquentes
Puis-je commencer sans connaître le big data ni la programmation ?
Oui, si vous savez utiliser les fonctions de base d'un terminal. Le cours explique l'utilité de Hadoop et les liens entre stockage HDFS, traitement MapReduce et gestion des ressources YARN. Vous n'avez pas besoin d'écrire du Java ou du Python.
Quelle place ce cours occupe-t-il dans le parcours Big Data ?
Commencez ici pour acquérir les bases du stockage et du traitement par lots, puis poursuivez avec Hive, Spark et Kafka. Les défis suivent la pratique guidée et utilisent uniquement les compétences déjà présentées dans ce cours.
Dois-je installer Hadoop ou louer un cluster ?
Non. Chaque activité fournit un environnement LabEx préparé dans le navigateur. Vous utilisez de véritables services Hadoop sur un nœud ; les exercices ne démontrent ni la tolérance aux pannes en production ni les performances distribuées.
