Apache Spark para principiantes enseña procesamiento por lotes con PySpark. Con pequeños datos de ventas, convertirá CSV y JSON en DataFrames con tipos, limpiará registros, calculará informes y guardará resultados para leerlos en otra ejecución.
El curso contiene 11 laboratorios guiados y 2 desafíos. Los ejemplos completos conducen a pequeños cambios y tareas independientes con nuevas entradas. Consultará evidencia real de ejecución y enviará una aplicación reutilizable sin depender de una sesión interactiva.
Lo que aprenderás
Al completar este curso, podrá:
- crear DataFrames con esquemas explícitos y leer CSV y JSON anidado;
- filtrar y transformar columnas, convertir valores con seguridad y eliminar filas idénticas;
- agregar importes decimales y unir referencias de clientes y productos;
- expresar operaciones conocidas con Spark SQL y vistas locales de sesión;
- escribir Parquet particionado y comprobar sus registros lógicos;
- inspeccionar planes y errores y enviar y repetir una aplicación por lotes parametrizada.
A quién va dirigido este curso
Para estudiantes de Python que empiezan en ingeniería de datos o preparan su primer flujo por lotes con Spark.
Requisitos previos: Variables, colecciones, llamadas a funciones y ejecución de scripts de Python, además de terminal básica. No requiere Spark, pandas, Hadoop, Hive ni Java previos.
Entorno de aprendizaje: LabEx ofrece una terminal Linux preparada en el navegador. PySpark real funciona con local[2], dos hilos en una máquina; el despliegue de clústeres distribuidos queda fuera del curso.
Preguntas frecuentes
¿Cuánto Python necesito y debo completar Hadoop o Hive primero?
Debe comprender variables, colecciones, llamadas a funciones y ejecución de scripts en Python. Hadoop y Hive aportan contexto, pero no son requisitos previos. El curso presenta los DataFrames y el Spark SQL que utiliza.
¿Aprenderé procesamiento de flujos además de procesamiento por lotes?
Este curso cubre el procesamiento por lotes de archivos CSV y JSON y termina con una canalización de ventas reutilizable. Spark Streaming y la programación con RDD quedan fuera de su alcance.
¿Necesito instalar Spark o alquilar varias máquinas?
No. LabEx proporciona PySpark y los datos en un entorno preparado en el navegador. Utilizará dos hilos de ejecución en una máquina para aprender API y comportamientos reales sin desplegar un clúster distribuido.
