初心者のための Apache Sparkでは、PySpark のバッチ処理を学びます。少量の小売データで CSV と JSON を型付き DataFrame にし、記録のクレンジング、売上レポートの計算、次の実行から読める結果の保存を行います。
11のガイド付き実験と2つのチャレンジで構成されます。完全な例から小さな変更、新しい入力での独立した課題へ進みます。実際の実行証拠を確認し、対話セッションに依存しない再利用可能なアプリを投入します。
学習内容
修了後は、次のことができるようになります。
- 明示的なスキーマで DataFrame を作り、CSV とネストした JSON を読む。
- 列の絞り込みと変換、安全な値の解析、完全一致行の重複除去を行う。
- 十進数の売上を集計し、顧客と商品の参照データを結合する。
- Spark SQL とセッション内ビューで既習の操作を表す。
- パーティション分割した Parquet を書き、論理的な記録を検証する。
- 実行計画とエラーを調べ、引数付きバッチアプリを投入して再実行する。
このコースの対象者
データエンジニアリングを学び始めた Python 学習者や、最初の Spark バッチ処理を作りたい方に適しています。
前提知識： Python の変数、コレクション、関数呼び出し、スクリプト実行と基本的なターミナル操作。Spark、pandas、Hadoop、Hive、Java の経験は不要です。
学習環境： LabEx が準備済み Linux ターミナルをブラウザーで提供します。実際の PySpark を local[2]、つまり1台の2スレッドで動かし、分散クラスターの構築は扱いません。
よくある質問
Python はどの程度必要ですか？先に Hadoop や Hive を修了する必要はありますか？
Python の変数、コレクション、関数呼び出し、スクリプトの実行を理解していることが前提です。Hadoop や Hive は背景理解に役立ちますが、必須ではありません。DataFrame と必要な Spark SQL はコース内で説明します。
バッチ処理に加えてストリーム処理も学びますか？
このコースは CSV と JSON ファイルのバッチ処理を扱い、最後に再利用可能な売上パイプラインを作ります。Spark Streaming と RDD プログラミングは対象外です。
Spark のインストールや複数マシンのレンタルは必要ですか？
いいえ。LabEx が準備済みのブラウザー環境に PySpark とデータセットを用意します。1台の2つの実行スレッドで実際の API と実行動作を学ぶため、分散クラスターの構築は不要です。
