Hive データパーティションの更新は、Hive の基本クエリを理解し、アーカイブを慎重に修正したい学習者向けの実践プロジェクトです。会場では、特定の日付について確定済み来場記録の新しい完全な集合が承認されました。その日付を置き換え、確定済み来場記録がない承認日も正しく処理し、ほかのすべての日付と元のソースデータを保持します。
コースにはガイド付きラボと独立したチャレンジが1つずつあります。ガイド付きラボでは、実際の演習用 ORC アーカイブを修正する前に、実験用テーブルで追記、テーブル全体の置き換え、静的パーティションの置き換えを比較します。チャレンジでは別の日付と候補レコードを扱い、承認範囲外のデータも提示されます。
学習内容
このコースを修了すると、次のことができるようになります。
- 修正前に外部テーブルの場所、パーティション列、ストレージ形式を調べる。
- 日付全体の置き換えと新しいレコードの追記を区別する。
- 静的な書き込み先パーティションを選び、対応するソースの確定済みレコードを別に絞り込む。
- 確定済みの置き換え集合が空の承認日を、パーティションの登録を維持したまま空にする。
- 未承認の日付のアーカイブレコード、元の HDFS ファイル、提供されたソース定義とデータを保持する。
- SQL を保存して実行し、同じファイルを再実行して、利用者の読み取りクエリでアーカイブ全体を検証する。
このコースの対象者
Hive の入門知識があり、承認範囲を厳密に限定したデータ修正を練習したい方を対象としています。
前提知識： Terminal での基本的なディレクトリ移動、HDFS パス、Hive の外部テーブル、WHERE を使った SELECT、パーティション列、ORC。静的パーティションの上書きと SQL の保存に使うシェル構文は、ガイド付きラボで説明します。
学習環境： 各ユニットには Hive、HDFS、ソースレコード、初期アーカイブを備えた独立した Linux 環境が用意されています。ブラウザの Terminal タブで作業し、ローカルへのインストールは不要です。コマンド、データ、実行時の出力は英語のままです。
よくある質問
Hive や Hadoop をインストールする必要はありますか？
必要ありません。各ユニットのサービスとコースデータは準備済みです。アーカイブの読み取り、承認範囲の判断、修正の適用に集中できます。
修正は個々のレコードを更新することですか？
ここで承認された候補は、ある日付の確定済み来場記録の完全な集合です。この集合を置き換えると古いレコードが除かれ、承認された置き換え集合が空の場合は、その日付の古いレコードがすべて削除されます。
チャレンジではガイド付きラボから何が発展しますか？
新しい承認リストと候補データを自分で確認し、同じ置き換えの仕組みを適用して、後から追加された未承認日付のデータを保持します。チャレンジは独立して初期化され、ガイド付きラボのファイルには依存しません。
