Apache Kafka для начинающих знакомит с доставкой событий на истории заказов. Вы опубликуете и прочитаете настоящие записи Kafka, изучите ключи, разделы и позиции чтения, а затем создадите Python-клиенты, сохраняющие события в файл.
Курс объединяет 8 пошаговых работ и 2 задания. Первые шесть используют терминальные инструменты, последние четыре — Python. Примеры объясняют успех и управляемые сбои до самостоятельного применения знакомых операций к новым входам.
Чему вы научитесь
После курса вы сможете:
- создавать топики, изучать метаданные и настраивать срок хранения;
- публиковать записи с ключами и проверять порядок и смещения внутри разделов;
- отслеживать зафиксированные следующие позиции, возобновлять чтение и повторно читать сохранённые события;
- изучать назначения групп и изменения при выходе участника;
- сериализовать JSON в Python-производителе и проверять обратные вызовы доставки и очередь;
- писать потребителя с ограничениями, который проверяет события, сбрасывает файловый буфер до явной фиксации и показывает ошибки записей и повторную доставку.
Для кого этот курс
Для начинающих работу с событийными конвейерами, желающих понять записи Kafka и поведение клиентов на небольших наблюдаемых примерах.
Предварительные требования: Основы терминала для первых шести работ. Последние четыре также требуют основ функций, циклов, словарей, JSON и запуска скриптов Python. Kafka, Java, Hadoop, Hive и Spark не требуются.
Учебная среда: LabEx предоставляет Linux-терминал в браузере, один брокер Kafka и установленные Python-зависимости. Курс изучает клиентов, а не развёртывание производственных кластеров или сквозные гарантии ровно однократной доставки.
Часто задаваемые вопросы
Нужны ли Python или опыт работы с Hadoop, Hive и Spark?
Для первых шести работ достаточно базового использования терминала. Последние четыре требуют основ функций, циклов, словарей, JSON и запуска скриптов Python. Другие курсы Big Data не являются обязательными.
Как Kafka связан с пакетной обработкой файлов?
Kafka хранит записи событий, которые публикуют производители и читают потребители. Курс прослеживает события заказов через топики, разделы и прогресс чтения потребителей, затем сохраняет их в файл. Он не создаёт приложение Spark Streaming и не обещает сквозную доставку ровно один раз.
Нужно ли устанавливать Kafka или использовать управляемый облачный сервис?
Нет. Каждая работа предоставляет в LabEx подготовленную среду Kafka с одним брокером и необходимыми клиентами. Вы практикуетесь в браузере без выделения внешнего сервиса Kafka.
