Apache Spark 入门教授 PySpark 批量数据处理。你将使用小型零售数据，把 CSV 和 JSON 转为带类型的 DataFrame，清洗记录、计算销售报表，并保存可供后续运行读取的结果。
课程包含 11 个引导实验和 2 个挑战，从完整示例过渡到小幅修改，再用新输入独立完成任务。你将查看真实执行证据并提交可复用应用，不依赖交互会话中的已有状态。
你将学到什么
完成课程后，你将能够：
- 用明确模式创建 DataFrame，读取 CSV 与嵌套 JSON；
- 筛选和转换列、安全解析值，并移除完全相同的重复行；
- 聚合十进制销售金额，关联客户和商品参考数据；
- 使用 Spark SQL 和会话内临时视图表达熟悉的操作；
- 写入分区 Parquet 数据集并核对其逻辑记录；
- 查看执行计划与错误，提交并重跑带参数的批处理应用。
本课程适合谁
适合开始学习数据工程、准备构建首个 Spark 批处理流程的 Python 学习者。
前置要求： 基本 Python 变量、集合、函数调用和脚本运行能力，以及基本终端操作。不需要 Spark、pandas、Hadoop、Hive 或 Java 经验。
学习环境： LabEx 提供预配置的浏览器 Linux 终端。真实 PySpark 以 local[2] 模式在一台机器的两个执行线程上运行，分布式集群部署不在课程范围内。
常见问题
需要多少 Python 基础，必须先完成 Hadoop 或 Hive 吗？
你应理解 Python 变量、集合、函数调用和脚本运行。Hadoop 和 Hive 有助于建立背景，但不是前置课程。本课程会介绍 DataFrame 和所用的 Spark SQL。
除了批处理，还会学习流处理吗？
本课程围绕 CSV、JSON 文件的批处理展开，最终构建可复用的销售数据流水线。Spark Streaming 和 RDD 编程不在课程范围内。
需要安装 Spark 或租用多台机器吗？
不需要。LabEx 在预配置的浏览器环境中提供 PySpark 和数据集。你将在一台机器的两个执行线程上学习真实 API 和执行行为，无需部署分布式集群。
