Wie man die Hive Metastore - Datenbank initialisiert

Einführung

Im Hadoop - Ökosystem spielt der Hive Metastore (Metadaten-Speicher) eine entscheidende Rolle bei der Verwaltung und dem Zugriff auf Daten, die im verteilten Dateisystem gespeichert sind. In diesem Tutorial werden Sie durch den Prozess der Initialisierung der Hive Metastore - Datenbank geführt, um sicherzustellen, dass Ihre Hadoop - Daten richtig organisiert und zugänglich sind.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHiveGroup(["Hadoop Hive"]) hadoop/HadoopHiveGroup -.-> hadoop/hive_setup("Hive Setup") hadoop/HadoopHiveGroup -.-> hadoop/manage_db("Managing Database") hadoop/HadoopHiveGroup -.-> hadoop/create_tables("Creating Tables") hadoop/HadoopHiveGroup -.-> hadoop/describe_tables("Describing Tables") hadoop/HadoopHiveGroup -.-> hadoop/alter_tables("Altering Tables") subgraph Lab Skills hadoop/hive_setup -.-> lab-415592{{"Wie man die Hive Metastore - Datenbank initialisiert"}} hadoop/manage_db -.-> lab-415592{{"Wie man die Hive Metastore - Datenbank initialisiert"}} hadoop/create_tables -.-> lab-415592{{"Wie man die Hive Metastore - Datenbank initialisiert"}} hadoop/describe_tables -.-> lab-415592{{"Wie man die Hive Metastore - Datenbank initialisiert"}} hadoop/alter_tables -.-> lab-415592{{"Wie man die Hive Metastore - Datenbank initialisiert"}} end

Das Hive Metastore verstehen

Das Hive Metastore (Metadaten-Speicher) ist ein zentrales Repository, das Metadaten über die in Hadoop gespeicherten Daten speichert. Es fungiert als Katalog für Hive und liefert Informationen über die Tabellen, Partitionen, Spalten und andere Entitäten, aus denen das Hive - Data Warehouse (Datenbank) besteht.

Das Hive Metastore ist für die folgenden Aufgaben verantwortlich:

Speicherung von Metadaten: Das Hive Metastore speichert Metadaten über die Tabellen, Partitionen, Spalten und andere Entitäten im Hive - Data Warehouse. Diese Metadaten umfassen Informationen wie den Tabellennamen, Spaltennamen und Datentypen, Partitionierungsinformationen und andere relevante Details.
Bereitstellung des Zugriffs auf Metadaten: Das Hive Metastore bietet eine Möglichkeit für Hive und andere Anwendungen, auf die im Repository gespeicherten Metadaten zuzugreifen. Dadurch kann Hive schnell die erforderlichen Informationen abrufen, um Abfragen auszuführen und andere Operationen durchzuführen.
Verwaltung von Berechtigungen: Das Hive Metastore verwaltet auch die Berechtigungen und die Zugangskontrolle für die im Hive - Data Warehouse gespeicherten Daten. Dies stellt sicher, dass nur autorisierte Benutzer auf die Daten zugreifen und sie manipulieren können.

Das Hive Metastore kann so konfiguriert werden, dass es verschiedene Arten von Datenbanken wie MySQL, PostgreSQL oder Oracle zur Speicherung der Metadaten verwendet. Die Wahl der Datenbank hängt von der Größe und Komplexität des Hive - Data Warehouse sowie von den Leistungs- und Verfügbarkeitsanforderungen der Anwendung ab.

graph TD A[Hive Application] --> B[Hive Metastore] B --> C[Metadata Database] C --> D[Hadoop Cluster]

Zusammenfassend ist das Hive Metastore eine kritische Komponente des Hive - Data Warehouse und bietet ein zentrales Repository zur Speicherung und Verwaltung von Metadaten über die in Hadoop gespeicherten Daten. Das Verständnis der Rolle und Funktionalität des Hive Metastore ist unerlässlich für die effektive Arbeit mit Hive und den Aufbau datengesteuerter Anwendungen auf Basis des Hadoop - Ökosystems.

Initialisierung der Hive Metastore - Datenbank

Bevor Sie mit der Verwendung des Hive Metastore (Metadaten-Speicher) beginnen können, müssen Sie die Datenbank initialisieren, in der die Metadaten gespeichert werden. So können Sie dies tun:

Voraussetzungen

Installieren und konfigurieren Sie ein Datenbankverwaltungssystem (DBMS), wie MySQL, PostgreSQL oder Oracle. In diesem Beispiel verwenden wir MySQL.
Installieren Sie Hive auf Ihrem System.

Initialisierung der Hive Metastore - Datenbank

Erstellen Sie eine neue Datenbank für das Hive Metastore:

sudo mysql -u root -p
CREATE DATABASE hive_metastore

Erstellen Sie einen neuen Benutzer für das Hive Metastore und erteilen Sie die erforderlichen Berechtigungen:

CREATE USER 'hive'@'localhost' IDENTIFIED BY 'your_password';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hive'@'localhost';

Initialisieren Sie das Hive Metastore - Schema:

schematool -initSchema -dbType mysql

Dieser Befehl erstellt die erforderlichen Tabellen und das Schema für das Hive Metastore in der hive_metastore - Datenbank.

Überprüfen Sie die Initialisierung des Hive Metastore:

hive --service metastore

Dadurch sollte der Hive Metastore - Dienst gestartet und eine Verbindung zur initialisierten Datenbank hergestellt werden.

graph TD A[Hive Application] --> B[Hive Metastore] B --> C[MySQL Database] C --> D[Hadoop Cluster]

In diesem Beispiel haben wir MySQL als Datenbank für das Hive Metastore verwendet. Sie können einen ähnlichen Prozess zur Initialisierung des Hive Metastore mit anderen DBMS wie PostgreSQL oder Oracle befolgen, indem Sie die datenbankspezifischen Befehle und Konfigurationen anpassen.

Konfiguration der Hive Metastore - Verbindung

Nach der Initialisierung der Hive Metastore (Metadaten-Speicher) - Datenbank müssen Sie die Verbindung zwischen Hive und dem Metastore konfigurieren. So können Sie dies tun:

Konfiguration der Hive Metastore - Verbindung

Öffnen Sie die Hive - Konfigurationsdatei (hive-site.xml), die sich im Hive - Konfigurationsverzeichnis (normalerweise /etc/hive/conf/) befindet.
Fügen Sie die folgenden Eigenschaften zur Konfigurationsdatei hinzu:

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_metastore</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>your_password</value>
  </property>
</configuration>

Ersetzen Sie die folgenden Werte durch Ihre spezifische Konfiguration:

jdbc:mysql://localhost:3306/hive_metastore: Die JDBC - Verbindungs-URL für Ihre Hive Metastore - Datenbank.
com.mysql.jdbc.Driver: Die JDBC - Treiberklasse für Ihre Datenbank (z. B. org.postgresql.Driver für PostgreSQL).
hive: Der Benutzername für die Hive Metastore - Datenbank.
your_password: Das Passwort für den Benutzer der Hive Metastore - Datenbank.

Speichern Sie die hive-site.xml - Datei und starten Sie den Hive - Dienst neu.

sudo systemctl restart hive-server2

Nach der Konfiguration der Hive Metastore - Verbindung wird Hive die angegebene Datenbank verwenden, um Metadaten für Ihr Data Warehouse (Datenbank) zu speichern und abzurufen.

graph TD A[Hive Application] --> B[Hive Metastore] B --> C[MySQL Database] C --> D[Hadoop Cluster] E[hive-site.xml] --> B

Indem Sie diese Schritte befolgen, haben Sie die Hive Metastore - Datenbank erfolgreich initialisiert und die Verbindung zwischen Hive und dem Metastore konfiguriert. Diese Einrichtung ermöglicht es Ihnen, die Metadaten für Ihr Hive - Data Warehouse effektiv zu verwalten und darauf zuzugreifen.

Zusammenfassung

Am Ende dieses Tutorials werden Sie das Hive Metastore (Metadaten-Speicher) und die Schritte zur Initialisierung der Datenbank gut verstehen. Mit diesem Wissen können Sie Ihre Hadoop - Daten effektiv verwalten und das volle Potenzial des Hadoop - Ökosystems ausschöpfen.