Laboratorios Prácticos de Hadoop

Este curso contiene muchos laboratorios para Hadoop. Cada laboratorio es un pequeño proyecto de Hadoop con una guía detallada y soluciones. Puedes practicar tus habilidades en Hadoop completando estos laboratorios, mejorar tus habilidades de codificación y aprender cómo escribir código limpio y eficiente.

Ciencia de datosLinux

💡 Este tutorial está traducido por IA desde la versión en inglés. Para ver la versión original, puedes hacer clic aquí

Programa

Configuración de Hadoop HDFS

Hadoop FS Shell cat

Hadoop FS Shell ls

Hadoop FS Shell mkdir

Prueba de la Shell de Hadoop FS

Hadoop FS Shell appendToFile

Copia con la interfaz de shell de Hadoop FS

Hadoop FS Shell copyToLocal/put

Hadoop FS Shell copyFromLocal/get

Hadoop FS Shell rm

Hadoop FS Shell mv

Aventura en la Agrupación de Datos Cuánticos

Hadoop FS Shell chmod

Hadoop FS Shell chown

Hadoop FS Shell find

Hadoop FS Shell du

Hadoop FS Shell tail

Hadoop FS Shell stat

Hadoop FS Shell expunge

Replicación de datos en Hadoop

Manejo de Bloques de Datos de Hadoop

Gestión de DataNode y NameNode en Hadoop

Gestión de instantáneas de Hadoop

Gestión de políticas de almacenamiento de Hadoop

Gestión de cuotas de Hadoop

Particionamiento de la Olimpiada de Hadoop

Los secretos místicos de la clasificación de Hadoop

Hadoop Shuffle Combiner

Fusión de datos de dinosaurios con Hadoop

Sabiduría Antigua de la Memoria Caché Distribuida

Configuración básica de Hadoop YARN

Aplicación del Planificador en Hadoop

Aplicación de comandos de Hadoop Yarn

Comandos de contenedores de Hadoop Yarn

Operaciones de Nave Espacial con Registros de YARN

Datopía con Hadoop Yarn

Centro de Comando de Defensa de Recursos

Dominio en la Gestión de Recursos Ninja

La búsqueda del Administrador de Nodos en los Bosques de Susurros

El viaje de integración de Cosmic Hive

Dominio de los datos en el Área de Hive

Expedición de datos con Hadoop Hive

La creación de tablas místicas en Hadoop

Descubrimiento de Datos de Marte con Hadoop

Reestructuración de datos rebeldes con Hadoop

Misión de Disrupción de Datos Disteópica

Dominio de los Datos Celestiales

Búsqueda de la armonía en los datos históricos

Búsqueda de Descubrimiento de Datos del Desierto

La búsqueda del Updatium en el mundo mágico de Hadoop

Optimización del flujo de datos interestelar

Dominio Maestro de Hive en el Desplazamiento del Tiempo

Destino de los Exploradores Revelado con Hadoop

Infiltración de datos rebeldes con LIMIT

Datos de ruinas con la magia de Hadoop

Guía de dominio dimensional de Hadoop

Integración de datos del Dragón del Desierto

Integración de Hadoop en la Búsqueda de Datos Unificados

Optimización de recursos espaciales con Hadoop

Análisis de Gemas con Hadoop

Búsqueda de la Armonía Numérica en Hadoop

Dominio de las fechas en Hadoop para astrónomos

La búsqueda de la comunicación cósmica con Hadoop

Optimización de datos de carreras cósmicas

El viaje de análisis de datos interestelares

Descubriendo tesoros antiguos con Hadoop

La búsqueda de datos de los monjes

Exploración del Universo VR con HadoopUDFs

Dominio de los planes de consulta de Hadoop

Dominio del almacenamiento de Hadoop en el Abismo

Optimizando las operaciones del Puerto Espacial Galáctico

Esquema de Magia de Datos Real

Magia de Datos de Xara

El viaje de transformación de datos sobrenatural

Compresión de datos de gemas con Hadoop

Dominio de la Serialización Mágica

La búsqueda de seguridad de Hive de los piratas

Introducción

Desarrolla experiencia práctica con el ecosistema Hadoop mediante 77 laboratorios guiados y basados en escenarios. La colección avanza desde operaciones HDFS y controles de almacenamiento hasta técnicas de flujo MapReduce, gestión de recursos YARN y un amplio conjunto de tareas Hive y HiveQL.

Es una biblioteca de práctica extensa, no un único proyecto lineal. El manifiesto no exige un orden fijo, por lo que puedes avanzar desde fundamentos hasta datos avanzados o elegir los laboratorios de las habilidades que necesites reforzar.

Lo que aprenderás

Al completar el curso, aprenderás a:

  • Configurar y explorar entornos HDFS, YARN y Hive proporcionados para la práctica.
  • Leer, buscar, transferir, eliminar, inspeccionar y controlar permisos de datos HDFS con su shell.
  • Gestionar replicación, bloques, DataNodes, snapshots, políticas de almacenamiento, cuotas y limpieza en HDFS.
  • Aplicar técnicas shuffle de MapReduce con particionadores, ordenación, combiners, joins y caché distribuida.
  • Inspeccionar aplicaciones, contenedores, logs, JAR, nodos, scheduling, ResourceManager y NodeManager de YARN.
  • Crear y modificar bases y tablas Hive y cargar, insertar, actualizar, eliminar, importar y exportar datos.
  • Escribir filtros, grupos y agregaciones, joins y unions, orden y distribución, funciones y ventanas en HiveQL.
  • Examinar planes, formatos, particiones, buckets, schemas, I/O, compresión, serialización, integración y seguridad de Hive.

A quién va dirigido este curso

Está dirigido a estudiantes de Hadoop que quieren muchos ejercicios guiados sobre almacenamiento, procesamiento, recursos y análisis tipo SQL. Sirve a principiantes que buscan amplitud y a quienes ya conocen los conceptos y desean practicar HDFS, MapReduce, YARN o Hive.

Requisitos previos: Debes manejar un terminal Linux, archivos, permisos y conceptos básicos de procesamiento de datos. Se recomiendan firmemente fundamentos de Hadoop y SQL antes de MapReduce, YARN y Hive avanzado, aunque el curso esté marcado como Beginner.

Entorno de aprendizaje: Los 77 laboratorios se ejecutan en entornos Hadoop proporcionados e incluyen instrucciones detalladas y soluciones. El trabajo es principalmente por comandos y consultas; no se indica como requisito un clúster cloud externo ni una cuenta personal.

Preguntas frecuentes

¿Debo completar los 77 laboratorios en orden?

No. El curso está configurado como colección no ordenada, no como secuencia obligatoria. Los nuevos estudiantes deberían comenzar con HDFS y archivos básicos antes de MapReduce, YARN y temas avanzados de Hive.

¿En qué se diferencia de Desafíos de Práctica en Hadoop?

Hadoop Practice Labs contiene 77 actividades guiadas en cuatro áreas amplias. Hadoop Practice Challenges es una colección mucho menor de 12 tareas centradas en comandos del sistema de archivos HDFS.

¿Incluye Spark o Pig?

No. El temario cubre HDFS, algunos patrones MapReduce, YARN y Hive/HiveQL. Spark y Pig no aparecen entre los 77 temas.

¿Desplegaré y operaré un clúster Hadoop de producción?

No. Practicarás configuración y componentes en entornos de aprendizaje proporcionados. Diseño de infraestructura, despliegue multinodo, planificación de capacidad, monitorización y operación de producción no son resultados establecidos.

Profesor

labby
Labby
Labby is the LabEx teacher.