初心者のための Apache Kafkaでは、小売業者の注文履歴を通じてイベント配信を学びます。実際の Kafka レコードを送受信し、キーとパーティションの構成、読み取り位置を確認してから、イベントをファイルに保存する Python クライアントを作ります。
8つのガイド付き実験と2つのチャレンジで構成されます。最初の6演習はターミナル、最後の4演習は Python を使います。正常動作と制御した失敗を例で理解し、チャレンジで既習の操作を新しい入力に応用します。
学習内容
修了後は、次のことができるようになります。
- トピックを作り、メタデータと保持設定を調べる。
- キー付きレコードを発行し、パーティション内の順序とオフセットを確認する。
- コミット済みの次の位置を追い、読み取りの再開と保存イベントの再読み取りを行う。
- グループの割り当てとメンバー離脱時の変化を調べる。
- Python プロデューサーで JSON をシリアライズし、配信コールバックとキューを確認する。
- イベント検証、ファイルの flush、明示的コミットを順に行う実行制限付きコンシューマーを作り、不正記録と再配信を観察する。
このコースの対象者
イベント駆動のデータ処理を学び始め、小さく観察可能な例で Kafka の記録とクライアント動作を理解したい方向けです。
前提知識： 最初の6演習は基本ターミナル操作、最後の4演習は Python の関数、ループ、辞書、JSON、スクリプト実行も必要です。Kafka、Java、Hadoop、Hive、Spark の経験は不要です。
学習環境： LabEx がブラウザー内 Linux ターミナル、単一 Kafka ブローカー、Python 依存ライブラリを提供します。クライアント動作に集中し、本番クラスター構築やエンドツーエンドの exactly-once 保証は扱いません。
よくある質問
Python や Hadoop、Hive、Spark の経験は必要ですか？
最初の6演習は基本的なターミナル操作ができれば取り組めます。最後の4演習では Python の関数、ループ、辞書、JSON、スクリプト実行の基礎が必要です。他のビッグデータコースの修了は前提ではありません。
Kafka はファイルのバッチ処理とどう関係しますか？
Kafka はプロデューサーが発行し、コンシューマーが読むイベントレコードを保存します。このコースは注文イベントをトピック、パーティション、読み取りの進捗から追跡し、ファイルに保存します。Spark のストリーム処理アプリの構築や、エンドツーエンドの exactly-once 配信の保証は扱いません。
Kafka のインストールやマネージドクラウドサービスは必要ですか？
いいえ。各演習に LabEx の準備済み単一ブローカー環境と必要なクライアントがあります。外部 Kafka サービスを用意せず、ブラウザーで練習できます。
