Apache Kafka 入门以零售商的订单历史介绍事件传递。你将发布和读取真实 Kafka 记录,查看键与分区如何组织记录,追踪消费进度,再编写将事件保存到文件的 Python 客户端。
课程包含 8 个引导实验和 2 个挑战。前六节使用终端工具,后四节引入 Python 客户端。引导示例解释正常结果与受控失败,挑战则用新输入组合已学操作。
你将学到什么
完成课程后,你将能够:
- 创建主题、查看元数据并配置保留策略;
- 发布带键记录,查看分区内顺序与 offset;
- 追踪已提交的下一个位置,恢复读取并重放保留事件;
- 查看消费组分配及成员离开时的变化;
- 在 Python 生产者中序列化 JSON,检查交付回调与待发送队列;
- 编写有运行边界的消费者,校验事件、刷新文件后显式提交,并观察坏记录与重复投递。
本课程适合谁
适合刚接触事件驱动数据流水线,希望通过小型可观察示例理解 Kafka 记录与客户端行为的学习者。
前置要求: 前六节需要基本终端操作;后四节还需要基本 Python 函数、循环、字典、JSON 和脚本运行能力。不需要 Kafka、Java、Hadoop、Hive 或 Spark 经验。
学习环境: LabEx 提供浏览器 Linux 终端、单个 Kafka Broker 和已安装的 Python 依赖。课程聚焦客户端行为,不涉及生产集群部署或端到端恰好一次保证。
常见问题
需要 Python 或 Hadoop、Hive、Spark 经验吗?
前六节只需要基本终端操作。最后四节需要基本的 Python 函数、循环、字典、JSON 和脚本运行知识。其他大数据课程不是前置要求。
Kafka 与基于文件的批处理有什么关系?
Kafka 存储生产者发布、消费者读取的事件记录。本课程追踪订单事件经过主题、分区及消费者读取进度的过程,再将事件保存为文件。课程不构建 Spark 流处理应用,也不承诺端到端恰好一次投递。
需要安装 Kafka 或使用托管云服务吗?
不需要。每节都在 LabEx 提供准备好的单 Broker Kafka 环境及所需客户端。你可以在浏览器中练习,无需开通外部 Kafka 服务。



