Apache Kafka 入门

通过 8 个引导实验和 2 个挑战学习 Apache Kafka,发布带键事件,查看分区和消费组、重放记录并编写有运行边界的 Python 客户端。

Python大数据

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

简介

Apache Kafka 入门以零售商的订单历史介绍事件传递。你将发布和读取真实 Kafka 记录,查看键与分区如何组织记录,追踪消费进度,再编写将事件保存到文件的 Python 客户端。

课程包含 8 个引导实验和 2 个挑战。前六节使用终端工具,后四节引入 Python 客户端。引导示例解释正常结果与受控失败,挑战则用新输入组合已学操作。

你将学到什么

完成课程后,你将能够:

  • 创建主题、查看元数据并配置保留策略;
  • 发布带键记录,查看分区内顺序与 offset;
  • 追踪已提交的下一个位置,恢复读取并重放保留事件;
  • 查看消费组分配及成员离开时的变化;
  • 在 Python 生产者中序列化 JSON,检查交付回调与待发送队列;
  • 编写有运行边界的消费者,校验事件、刷新文件后显式提交,并观察坏记录与重复投递。

本课程适合谁

适合刚接触事件驱动数据流水线,希望通过小型可观察示例理解 Kafka 记录与客户端行为的学习者。

前置要求: 前六节需要基本终端操作;后四节还需要基本 Python 函数、循环、字典、JSON 和脚本运行能力。不需要 Kafka、Java、Hadoop、Hive 或 Spark 经验。

学习环境: LabEx 提供浏览器 Linux 终端、单个 Kafka Broker 和已安装的 Python 依赖。课程聚焦客户端行为,不涉及生产集群部署或端到端恰好一次保证。

常见问题

需要 Python 或 Hadoop、Hive、Spark 经验吗?

前六节只需要基本终端操作。最后四节需要基本的 Python 函数、循环、字典、JSON 和脚本运行知识。其他大数据课程不是前置要求。

Kafka 与基于文件的批处理有什么关系?

Kafka 存储生产者发布、消费者读取的事件记录。本课程追踪订单事件经过主题、分区及消费者读取进度的过程,再将事件保存为文件。课程不构建 Spark 流处理应用,也不承诺端到端恰好一次投递。

需要安装 Kafka 或使用托管云服务吗?

不需要。每节都在 LabEx 提供准备好的单 Broker Kafka 环境及所需客户端。你可以在浏览器中练习,无需开通外部 Kafka 服务。

教师

labby
Labby
Labby is the LabEx teacher.