So aktivieren Sie die Apache Ranger - Autorisierung für sicheren Zugriff auf den Hive Metastore

Einführung

Dieses Tutorial führt Sie durch den Prozess der Aktivierung der Apache Ranger-Autorisierung für den sicheren Zugriff auf Ihren Hadoop Hive Metastore. Am Ende dieses Artikels werden Sie verstehen, wie Sie Ranger konfigurieren und Richtlinien (Policies) implementieren können, um zu steuern, wer auf Ihren Hive Metastore und die von ihm verwalteten Daten zugreifen kann.

Einführung in Apache Ranger

Apache Ranger ist ein Open-Source-Framework, das eine umfassende Sicherheitsmanagementlösung für Big Data-Plattformen bietet. Es bietet eine zentrale Sicherheitsadministration, feingranulare Zugriffskontrolle und umfassende Audit-Funktionen (Prüfungsfunktionen) für verschiedene Komponenten des Hadoop-Ökosystems, einschließlich Hive, HDFS, HBase und mehr.

Was ist Apache Ranger?

Apache Ranger wurde entwickelt, um die Sicherheitsherausforderungen zu bewältigen, denen Organisationen gegenüberstehen, die Big Data-Technologien eingesetzt haben. Es bietet eine zentrale Plattform, um Sicherheitsrichtlinien (Policies) für mehrere Hadoop-Komponenten zu definieren, zu verwalten und zu überwachen, um eine konsistente und effektive Zugriffskontrolle und Prüfung sicherzustellen.

Wichtige Funktionen von Apache Ranger

1. Zentrale Richtlinienverwaltung (Policy Management): Ranger ermöglicht es Administratoren, Sicherheitsrichtlinien von einer einzigen, webbasierten Konsole aus zu definieren und zu verwalten, wodurch der Prozess der Durchsetzung von Zugriffskontrollen im gesamten Hadoop-Ökosystem vereinfacht wird.

2. Feingranulare Zugriffskontrolle: Ranger unterstützt eine feingranulare Zugriffskontrolle, sodass Administratoren Richtlinien basierend auf verschiedenen Attributen wie Benutzer, Gruppe, Ressource und Zugriffstyp (Lesen, Schreiben, Ausführen) definieren können.

3. Umfassende Prüfung (Auditing): Ranger bietet ein robustes Prüfungssystem, das alle Zugriffsversuche verfolgt und protokolliert, sodass Administratoren Benutzeraktivitäten aus Sicherheits- und Compliance-Gründen überwachen und analysieren können.

4. Nahtlose Integration: Ranger integriert sich in verschiedene Hadoop-Komponenten, einschließlich Hive, HDFS, HBase und Kafka, und bietet so eine einheitliche Sicherheitsmanagementlösung für den gesamten Big Data-Stack.

5. Flexibles Richtlinienmodell (Policy Model): Das Richtlinienmodell von Ranger ist flexibel und erweiterbar konzipiert, sodass Organisationen die Sicherheitsrichtlinien an ihre spezifischen Anforderungen anpassen können.

Typische Anwendungsfälle für Apache Ranger

1. Sicherer Datenzugriff: Ranger stellt sicher, dass nur autorisierte Benutzer und Anwendungen auf sensible Daten zugreifen können, die in Hadoop-Komponenten wie Hive, HDFS und HBase gespeichert sind.

2. Regulatorische Compliance: Die umfassenden Prüfungsfunktionen von Ranger helfen Organisationen, regulatorischen Anforderungen wie GDPR, HIPAA und PCI-DSS gerecht zu werden, indem sie detaillierte Zugriffsprotokolle und Berichte liefern.

3. Mehrmandanten-Sicherheit (Multi-tenant Security): Ranger ermöglicht eine sichere Mehrmandanten-Umgebung in Hadoop, sodass verschiedene Teams oder Abteilungen auf ihre eigenen Daten und Ressourcen zugreifen und verwalten können, während strenge Zugriffskontrollen gewahrt werden.

4. Datengovernance: Die zentrale Richtlinienverwaltung und die feingranulare Zugriffskontrolle von Ranger helfen Organisationen, Datengovernance-Richtlinien durchzusetzen und die Datenschutz- und Datensicherheit zu gewährleisten.

Im nächsten Abschnitt werden wir untersuchen, wie Sie Apache Ranger konfigurieren können, um den Zugriff auf den Hive Metastore zu sichern.

Konfigurieren von Ranger für den Zugriff auf den Hive Metastore

Um den Hive Metastore mit Apache Ranger zu sichern, müssen Sie Ranger so konfigurieren, dass es sich mit dem Hive Metastore - Dienst integriert. Hier ist eine Schritt-für-Schritt-Anleitung:

Voraussetzungen

1. Installieren und konfigurieren Sie Apache Ranger auf Ihrem Hadoop - Cluster.
2. Stellen Sie sicher, dass der Hive Metastore - Dienst läuft und erreichbar ist.

Schritte zur Konfiguration von Ranger für den Zugriff auf den Hive Metastore

1. Aktivieren des Ranger - Plugins für den Hive Metastore:

   • Suchen Sie die Hive Metastore - Konfigurationsdatei (normalerweise hive - site.xml) und fügen Sie die folgenden Eigenschaften hinzu:

     <property>
       <name>hive.security.authorization.manager</name>
       <value>org.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizerFactory</value>
     </property>
     <property>
       <name>hive.security.authenticator.manager</name>
       <value>org.apache.hadoop.hive.ql.security.SessionStateUserAuthenticator</value>
     </property>

   • Starten Sie den Hive Metastore - Dienst neu, damit die Änderungen wirksam werden.

2. Konfigurieren von Ranger - Richtlinien (Policies) für den Hive Metastore:

   • Melden Sie sich in der Ranger Admin - UI an.
   • Navigieren Sie zum "Hive" - Dienst und erstellen Sie eine neue Richtlinie, um den Zugriff auf den Hive Metastore zu steuern.
   • Definieren Sie die Richtlinie basierend auf den Sicherheitsanforderungen Ihrer Organisation, beispielsweise:
     • Geben Sie den Benutzer oder die Gruppe an, die Zugriff haben soll.
     • Wählen Sie die entsprechenden Berechtigungen (z. B. Lesen, Schreiben, Erstellen, Löschen).
     • Wählen Sie die relevanten Hive - Ressourcen (Datenbanken, Tabellen, Spalten), auf die die Richtlinie angewendet werden soll.

3. Überprüfen der Durchsetzung der Ranger - Richtlinien:

   • Versuchen Sie, den Hive Metastore mit verschiedenen Benutzerkonten zuzugreifen und überprüfen Sie, ob die Ranger - Richtlinien korrekt durchgesetzt werden.
   • Prüfen Sie die Ranger - Audit - Protokolle, um sicherzustellen, dass alle Zugriffsversuche protokolliert und überwacht werden.

Indem Sie diese Schritte befolgen, können Sie Apache Ranger aktivieren, um den Hive Metastore zu sichern und sicherzustellen, dass nur autorisierte Benutzer und Anwendungen auf die im Hive Metastore gespeicherten Metadaten zugreifen können.

Sichern des Hive Metastores mit Ranger - Richtlinien (Policies)

Nachdem Sie Ranger so konfiguriert haben, dass es sich mit dem Hive Metastore integriert, ist der nächste Schritt die Definition und Anwendung von Ranger - Richtlinien, um den Zugriff auf den Hive Metastore zu sichern.

Grundlagen der Ranger - Richtlinien für den Hive Metastore

Ranger - Richtlinien für den Hive Metastore ermöglichen es Ihnen, den Zugriff auf verschiedene Hive - Ressourcen wie Datenbanken, Tabellen und Spalten zu steuern. Sie können Richtlinien basierend auf den folgenden Kriterien definieren:

• Benutzer/Gruppen: Geben Sie die Benutzer oder Gruppen an, die Zugriff auf die Hive - Ressourcen haben sollen.
• Berechtigungen: Definieren Sie den Zugriffstyp (Lesen, Schreiben, Erstellen, Löschen), der gewährt oder verweigert werden soll.
• Ressourcen: Wählen Sie die spezifischen Hive - Datenbanken, Tabellen oder Spalten aus, auf die die Richtlinie angewendet werden soll.

Erstellen von Ranger - Richtlinien für den Hive Metastore

1. Melden Sie sich in der Ranger Admin - UI an:

   • Greifen Sie auf die Ranger Admin - Konsole zu, die normalerweise unter http://<ranger - admin - host>:6080 verfügbar ist.

2. Navigieren Sie zum Hive - Dienst:

   • Suchen Sie in der Ranger Admin - UI den "Hive" - Dienst und klicken Sie darauf, um die mit Hive verbundenen Richtlinien zu verwalten.

3. Erstellen Sie eine neue Hive - Richtlinie:

   • Klicken Sie auf die Schaltfläche "Add New Policy", um eine neue Hive - Richtlinie zu erstellen.
   • Geben Sie der Richtlinie einen sinnvollen Namen, wie z. B. "Restrict access to sensitive Hive tables" (Zugriff auf sensible Hive - Tabellen einschränken).

4. Konfigurieren Sie die Richtliniendetails:

   • Ressourcen: Wählen Sie die Hive - Datenbanken, Tabellen oder Spalten aus, auf die die Richtlinie angewendet werden soll. Sie können Platzhalter (z. B. db_name.*) verwenden, um die Richtlinie auf mehrere Ressourcen anzuwenden.
   • Benutzer/Gruppen: Geben Sie die Benutzer oder Gruppen an, die Zugriff auf die ausgewählten Hive - Ressourcen haben sollen.
   • Berechtigungen: Wählen Sie die entsprechenden Berechtigungen (Lesen, Schreiben, Erstellen, Löschen) aus, die für die ausgewählten Benutzer/Gruppen gewährt oder verweigert werden sollen.

5. Überprüfen und speichern Sie die Richtlinie:

   • Überprüfen Sie die Richtliniendetails, um sicherzustellen, dass sie Ihren Sicherheitsanforderungen entsprechen.
   • Klicken Sie auf "Add", um die Richtlinie zu speichern.

Durch die Erstellung und Anwendung von Ranger - Richtlinien für den Hive Metastore können Sie sicherstellen, dass nur autorisierte Benutzer und Anwendungen auf die im Hive Metastore gespeicherten Metadaten zugreifen und manipulieren können, was die Gesamt Sicherheit Ihres Hadoop - Ökosystems verbessert.

Zusammenfassung

In diesem auf Hadoop ausgerichteten Tutorial haben Sie gelernt, wie Sie Apache Ranger einrichten können, um Ihren Hive Metastore zu sichern und den Zugriff auf Ihre Daten zu kontrollieren. Durch die Konfiguration von Ranger - Richtlinien (Policies) können Sie sicherstellen, dass nur autorisierte Benutzer und Anwendungen mit Ihrem Hive Metastore interagieren können, was die Gesamt - Sicherheit Ihres Hadoop - Ökosystems verbessert.