Введение
В этом лабе вы научитесь управлять политиками хранения Hadoop, раскрывая тайны, скрытые в золотых песках огромной Аравийской пустыни. Вы отправитесь в путешествие, где мудрый колдун вызовет вас использовать силу этих политик для эффективного управления хранением данных в Hadoop. Получите бесценные навыки по хранению и извлечению данных на разных уровнях, оптимизируя как производительность, так и экономичность.
Понимание политик хранения в Hadoop
В этом шаге вы узнаете о концепции политик хранения в Hadoop и о том, как их можно использовать для управления хранением данных на разных уровнях хранения.
Переключитесь на пользователя для доступа к файловой системе Hadoop с помощью команды su - hadoop. Затем выведите список доступных политик хранения:
hdfs storagepolicies -listPolicies
В выводе должны быть показаны стандартные политики хранения, доступные в вашем кластере Hadoop. Вот пример вывода:
Block Storage Policies:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}
Политики хранения позволяют определить разные уровни хранения на основе шаблонов доступа к данным, требований к производительности и соображений о стоимости. Например, политика "HOT" может использоваться для часто используемых данных, а политика "COLD" - для архивных данных.
Установка и получение политики хранения директории
В этом шаге вы узнаете, как установить конкретную политику хранения для директории в Hadoop.
Сначала создайте новую директорию в HDFS:
hdfs dfs -mkdir /example
Затем установите конкретную политику хранения для директории /example в политику "WARM", которую вы создали на предыдущем шаге:
hdfs storagepolicies -setStoragePolicy -path /example -policy WARM
Эта команда устанавливает политику хранения "WARM" в качестве конкретной политики для директории /example и всех ее поддиректорий и файлов.
Вы можете проверить политику хранения для директории с помощью команды hdfs storagepolicies:
hdfs storagepolicies -getStoragePolicy -path /example
В выводе должна быть показана политика "WARM" в качестве политики хранения для директории /example.
Установка и получение политики хранения файла
В этом шаге вы узнаете, как перенести существующие данные в Hadoop в конкретную политику хранения.
Сначала создайте примерный файл в HDFS:
hdfs dfs -touchz /example/sample.txt
Затем проверьте текущую политику хранения для файла:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
В выводе должна быть показана политика хранения "WARM", которая является стандартной политикой для директории /example.
Теперь перейдем к перемещению файла sample.txt в политику хранения "HOT":
hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT
Эта команда изменяет политику хранения для файла sample.txt на политику хранения "HOT".
Вы можете проверить новую политику хранения для файла с помощью команды hdfs storagepolicies:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
Теперь в выводе должна быть показана политика "HOT" для файла sample.txt.
Удаление политики хранения из файла
В этом шаге вы узнаете, как удалить политику хранения для конкретного файла в Hadoop.
Если вы хотите удалить политику хранения для файла /example/sample.txt, вы можете использовать команду hdfs storagepolicies:
hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt
Эта команда удаляет политику хранения для файла /example/sample.txt, так что файл больше не имеет явной политики хранения, а наследует политику директории, в которой он находится, или принимает стандартную политику кластера.
Затем вы можете использовать команду hdfs, чтобы подтвердить, что политика хранения файла sample.txt была удалена:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
Теперь в выводе должно быть показано "WARM" - политика для файла sample.txt, то есть политика директории, в которой он находится.
Резюме
Поздравляем! Вы успешно освоили политики хранения в Hadoop, что позволяет эффективно управлять хранением данных. С новыми навыками вы можете оптимизировать хранение и получение данных в Hadoop, обеспечивая эффективность и экономичность. Руководствуясь мудрым волшебником, вы открыли секреты политик хранения и готовы успешно справляться с любыми задачами, связанными с хранением данных.
