Analizar sesiones de compra con Spark es un proyecto práctico para quienes conocen el procesamiento por lotes básico con PySpark. Convierta un registro de visitas ya cerradas en un análisis reutilizable que distinga los eventos repetidos de los recorridos de sesión/producto con una visualización y relacione las adiciones al carrito con el producto y el momento correctos.
Dos laboratorios guiados construyen las decisiones de relación y una comparación completa de productos. Un desafío independiente aplica las mismas reglas a otro lote de una tienda. Entregará conjuntos de datos Parquet reales y un pequeño CSV coincidente, con recuentos que explican cada proporción. Los 125–155 minutos son una estimación del autor que incluye la lectura y los errores habituales.
Lo que aprenderás
Al finalizar este curso, podrá:
- conservar cada par sesión/producto con una visualización y su momento más temprano de visualización, tras eliminar retransmisiones de eventos idénticas;
- reconocer la existencia de una adición válida al carrito sin atribuirle la adición de otro producto ni multiplicar un recorrido cuando coincidan varias adiciones al carrito;
- calcular los denominadores de sesiones con visualización, los recuentos completos e incompletos y las proporciones incompletas;
- conservar los productos sin adiciones válidas al carrito y todos los empates;
- escribir y consumir resultados Parquet y CSV reales, reconstruir una instantánea derivada y conservar su entrada original;
- explicar por qué los patrones de sesiones cerradas son pistas de observación y no recuentos de personas únicas ni pruebas causales.
A quién va dirigido este curso
Este proyecto está dirigido a futuros analistas e ingenieros de datos que quieran obtener relaciones y medidas resumidas fiables en Spark.
Requisitos previos: Navegación básica de archivos en la terminal y habilidades de Apache Spark para principiantes: esquemas explícitos, filtros, eliminación de duplicados exactos, uniones de DataFrame, agrupación y Parquet. El proyecto introduce la unidad de observación sesión/producto, el tiempo de la primera visualización, las uniones semi/anti y los denominadores completos para comparar.
Entorno de aprendizaje: Cada laboratorio proporciona una Terminal independiente en el navegador con Spark, Python, archivos locales por lotes y controladores ligeros de salida preparados. Spark utiliza dos hilos de trabajo locales en una sola máquina. No necesita instalar software, Hive, Kafka ni un clúster remoto.
Preguntas frecuentes
¿Escribiré Python?
Sí. Completará pequeñas funciones reutilizables que devuelven DataFrames de Spark. Los laboratorios guiados explican los parámetros y las expresiones de relación antes de usarlos; el controlador suministrado crea la sesión y serializa los archivos.
¿Es un embudo en tiempo real o un informe de clientes únicos?
No. Las entradas son lotes finitos de sesiones cerradas con identificadores y marcas de tiempo UTC válidos. Una sesión identifica una visita y puede incluir visualizaciones de varios productos. El streaming, el pago y la identidad entre dispositivos quedan fuera del curso.
¿Qué cambia en el desafío?
Cambian los identificadores del lote y las relaciones entre eventos. Las herramientas Spark, la regla temporal, los formatos de salida y los métodos de recuperación siguen siendo los mismos. El resultado debe conservar la comparación completa, incluidos los productos sin adiciones al carrito y los empates.
