Hadoop-Speicherrichtlinienverwaltung

Einführung

In diesem Lab erfahren Sie, wie Sie die Hadoop-Speicherrichtlinien (Hadoop Storage Policies) beherrschen können und entdecken die Geheimnisse, die in den goldenen Sanden der riesigen arabischen Wüste verborgen liegen. Sie starten auf eine Reise, bei der ein weiser Zauberer Sie herausfordert, die Macht dieser Richtlinien zu nutzen, um die effiziente Verwaltung von Datenspeicher in Hadoop zu ermöglichen. Erwerben Sie unverzichtbare Fähigkeiten, um Daten über verschiedene Ebenen hinweg zu speichern und abzurufen und so sowohl die Leistung als auch die Kosteneffizienz zu optimieren.

Das Verständnis von Speicherrichtlinien (Storage Policies) in Hadoop

In diesem Schritt lernen Sie das Konzept der Speicherrichtlinien in Hadoop kennen und erfahren, wie Sie diese nutzen können, um den Datenspeicher über verschiedene Speicherebenen hinweg zu verwalten.

Wechseln Sie den Benutzer, um auf das Hadoop-Dateisystem zuzugreifen, indem Sie den Befehl su - hadoop verwenden. Listen Sie dann die verfügbaren Speicherrichtlinien auf:

hdfs storagepolicies -listPolicies

Die Ausgabe sollte die Standard-Speicherrichtlinien anzeigen, die in Ihrem Hadoop-Cluster verfügbar sind. Hier ist eine Beispielausgabe:

Block Storage Policies:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}

Speicherrichtlinien ermöglichen es Ihnen, verschiedene Speicherebenen basierend auf Datenzugriffsmustern, Leistungsanforderungen und Kostenerwägungen zu definieren. Beispielsweise kann die "HOT"-Richtlinie für häufig zugegriffene Daten verwendet werden, während die "COLD"-Richtlinie für Archivdaten geeignet ist.

Festlegen und Abrufen der Speicherrichtlinie (Storage Policy) für ein Verzeichnis

In diesem Schritt lernen Sie, wie Sie eine bestimmte Speicherrichtlinie für ein Verzeichnis in Hadoop festlegen können.

Zunächst erstellen Sie ein neues Verzeichnis im HDFS:

hdfs dfs -mkdir /example

Als Nächstes legen Sie die bestimmte Speicherrichtlinie für das Verzeichnis /example auf die "WARM"-Richtlinie fest, die Sie im vorherigen Schritt erstellt haben:

hdfs storagepolicies -setStoragePolicy -path /example -policy WARM

Dieser Befehl legt die "WARM"-Speicherrichtlinie als die bestimmte Richtlinie für das Verzeichnis /example sowie alle seine Unterverzeichnisse und Dateien fest.

Sie können die Speicherrichtlinie für das Verzeichnis mit dem Befehl hdfs storagepolicies überprüfen:

hdfs storagepolicies -getStoragePolicy -path /example

Die Ausgabe sollte die "WARM"-Richtlinie als Speicherrichtlinie für das Verzeichnis /example anzeigen.

Festlegen und Abrufen der Speicherrichtlinie (Storage Policy) für eine Datei

In diesem Schritt lernen Sie, wie Sie vorhandene Daten in Hadoop auf eine bestimmte Speicherrichtlinie verschieben können.

Zunächst erstellen Sie eine Beispiel-Datei im HDFS:

hdfs dfs -touchz /example/sample.txt

Als Nächstes überprüfen Sie die aktuelle Speicherrichtlinie für die Datei:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

Die Ausgabe sollte die "WARM"-Speicherrichtlinie anzeigen, die die Standardrichtlinie für das Verzeichnis /example ist.

Lassen Sie uns nun die Datei sample.txt auf die "HOT"-Speicherrichtlinie verschieben:

hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT

Dieser Befehl ändert die Speicherrichtlinie für die Datei sample.txt auf die "HOT"-Speicherrichtlinie.

Sie können die neue Speicherrichtlinie für die Datei mit dem Befehl hdfs storagepolicies überprüfen:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

Die Ausgabe sollte nun die "HOT"-Richtlinie für die Datei sample.txt anzeigen.

Entfernen der Speicherrichtlinie (Storage Policy) von einer Datei

In diesem Schritt lernen Sie, wie Sie die Speicherrichtlinie für eine bestimmte Datei in Hadoop entfernen können.

Wenn Sie die Speicherrichtlinie für die Datei /example/sample.txt entfernen möchten, können Sie den Befehl hdfs storagepolicies verwenden:

hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt

Dieser Befehl entfernt die Speicherrichtlinie für die Datei /example/sample.txt, sodass die Datei keine explizite Speicherrichtlinie mehr hat. Stattdessen erbt sie die Richtlinie des Verzeichnisses, in dem sie sich befindet, oder übernimmt die Standard-Speicherrichtlinie des Clusters.

Sie können dann den hdfs-Befehl verwenden, um zu bestätigen, dass die Speicherrichtlinie der Datei sample.txt entfernt wurde:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

Die Ausgabe sollte nun die "WARM"-Richtlinie für die Datei sample.txt anzeigen, d. h. die Richtlinie des Verzeichnisses, in dem sich die Datei befindet.

Zusammenfassung

Herzlichen Glückwunsch! Sie haben die Hadoop-Speicherrichtlinien (Storage Policies) erfolgreich beherrscht und können nun den Datenspeicher effektiv verwalten. Mit Ihren neu erworbenen Fähigkeiten können Sie den Datenspeicher und die Datenabfrage in Hadoop optimieren und so Effizienz und Kosteneffektivität gewährleisten. Geleitet vom weisen Zauberer haben Sie die Geheimnisse der Speicherrichtlinien enthüllt und sind bereit, alle Datenspeicherherausforderungen zu meistern, die Ihnen in den Weg kommen.