Hive のインストール
このステップでは、Hadoop クラスタに Apache Hive をインストールします。これにより、SQL のようなクエリを使って天文学データを処理および分析できるようになります。
まず、ターミナルで次のコマンドを実行して hadoop
ユーザーに切り替えます。
su - hadoop
次に、公式サイトから Apache Hive の最新の安定版をダウンロードします。
wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
ダウンロードしたアーカイブを展開します。
tar -xzf apache-hive-3.1.3-bin.tar.gz
次に、~/.bashrc
ファイルに次の行を追加することで HIVE_HOME
環境変数を設定します。
echo 'export HIVE_HOME=/home/hadoop/apache-hive-3.1.3-bin' >> ~/.bashrc
export HIVE_HOME=/home/hadoop/apache-hive-3.1.3-bin
次に、$HIVE_HOME/conf
ディレクトリに次の内容の hive-site.xml
ファイルを作成して、Hive を Hadoop クラスタと連携させるように構成します。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=/home/hadoop/metastore_db;create=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
この構成ファイルは、Hive テーブルとパーティションのメタデータを格納する Hive メタストアをセットアップします。
最後に、次のコマンドでメタベースを初期化します。
$HIVE_HOME/bin/schematool -dbType derby -initSchema