初心者のための Hive

8つのガイド付き実験と2つのチャレンジで Apache Hive を学びます。CSV テーブル、SQL、顧客との結合、パーティション、ORC レポートを練習します。

ビッグデータ

💡 このチュートリアルは英語版からAIによって翻訳されています。原文を確認するには、 ここをクリックしてください

はじめに

初心者のための Hiveでは、Apache Hive と SQL で保存済みファイルに問いを立てます。小売業者の少量の注文から始め、CSV とテーブルを結び、支払い済み売上を集計し、再構築できる地域別レポートを作ります。

8つのガイド付き実験と2つのチャレンジで構成されます。概念を説明してから使用し、チャレンジで既習の技能を新しい入力に応用します。小さなデータで答えを手計算し、クエリ結果を確認できます。

学習内容

修了後は、次のことができるようになります。

  • テーブルの列を調べ、保存済み SQL を Beeline で実行する。
  • CSV を外部テーブルに対応付け、メタデータと記録を区別する。
  • 行を絞り、NULL を扱い、十進数で売上を集計する。
  • 顧客データを結合し、キーが意図した行を保持するか確認する。
  • 日付パーティションを登録し、クエリが選ぶパーティションを調べる。
  • 重複を蓄積せず ORC 結果表を再構築し、解析、場所、パーティションの問題を診断する。

このコースの対象者

ファイルデータの検索と再現可能なバッチレポートを学びたい、データ分析やデータエンジニアリングの初心者向けです。

前提知識: 基本的なターミナル操作と表の読み方。SQL、Hadoop、Java、Python の事前知識は不要です。

学習環境: LabEx が Hive、HDFS、必要なサービスを準備したブラウザー内 Linux ターミナルを提供します。各演習に独立したデータがあり、本番クラスター管理は扱いません。

よくある質問

先に SQL を学んだり、Hadoop コースを修了したりする必要はありますか?

いいえ。基本的なターミナル操作と表を読む力があれば始められ、必要な SQL はコース内で説明します。Hadoop を先に学ぶと HDFS を理解しやすくなりますが、各 Hive 演習は環境とデータを個別に準備します。

Hive は、先に紹介された Hadoop の操作とどう違いますか?

Hadoop の演習はファイルとバッチジョブが中心です。ここでは Hive で保存済みファイルをテーブルに対応付け、SQL で検索して売上レポートを作ります。テーブルのメタデータ、ファイルの場所、パーティションの関係も学びます。

Hive のインストールや企業データベースへの接続は必要ですか?

いいえ。LabEx がブラウザー環境に Hive、必要なサービス、練習用データを用意します。準備済みの小売データのファイルとテーブルを使うため、企業データや本番クラスターは不要です。

講師

labby
Labby
Labby is the LabEx teacher.