💡 Этот учебник переведен с английского с помощью ИИ. Чтобы просмотреть оригинал, вы можете перейти на английский оригинал
В этом практическом занятии мы продолжим говорить о HDFS, одной из основных компонент Hadoop. Изучение этого практического занятия поможет вам понять принципы работы и базовые операции HDFS, а также способы доступа к WebHDFS в архитектуре программного обеспечения Hadoop.
Как показывает его название, HDFS (Hadoop Distributed File System) - это компонент распределенного хранилища в рамках Hadoop, обладающий устойчивостью к ошибкам и масштабируемостью.
HDFS может использоваться в составе кластера Hadoop или в качестве автономного универсального распределенного файловой системы. Например, HBase построен на основе HDFS, а Spark также может использовать HDFS в качестве одного из источников данных. Изучение архитектуры и основных операций HDFS будет очень полезно для настройки, улучшения и диагностики конкретных кластеров.
HDFS - это распределенное хранилище, используемое приложениями Hadoop, источник и назначение данных. Кластеры HDFS в основном состоят из NameNodes, которые управляют метаданными файловой системы, и DataNodes, которые хранят фактические данные. Архитектура изображена на следующем рисунке, который показывает модели взаимодействия между NameNodes, DataNodes и Clients:
Этот рисунок взят с официального сайта Hadoop.
Обзор введения в HDFS:
Понимание этих ключевых моментов о HDFS поможет эффективно настраивать, оптимизировать и диагностировать кластеры Hadoop.
В начале разработки HDFS был проектирован для хранения очень больших файлов в большом кластере в межузловом, очень надежной манере. Как уже упоминалось ранее, HDFS хранит файлы в блоках. Конкретно, он хранит каждый файл в виде последовательности блоков. За исключением последнего блока, все блоки в файле имеют одинаковый размер.
Этот рисунок взят с официального сайта Hadoop.
Репликация данных и высокая доступность в HDFS:
Ниже приведены некоторые материалы для дополнительного чтения:
Прежде чем писать код задачи, вы должны сначала переключиться на пользователя hadoop. Дважды щелкните, чтобы открыть терминал Xfce на вашем рабочем столе и введите следующую команду. Пароль пользователя hadoop - hadoop; его потребуется при переключении пользователей:
su - hadooplabex:~/ $ su - hadoop
hadoop:~$Совет: пароль пользователя hadoop - hadoop
Надо инициализировать Namenode перед первым использованием HDFS. Эта операция может быть сравнена с форматированием диска, поэтому используйте эту команду с осторожностью, если вы храните данные на HDFS.
В противном случае перезапустите эксперимент в этом разделе. Используйте "Стандартную среду" и инициализируйте HDFS с помощью следующей команды:
/home/hadoop/hadoop/bin/hdfs namenode -formatСовет: Команда выше отформатирует файловую систему HDFS, вам нужно удалить директорию данных HDFS перед запуском команды.
Поэтому вам нужно остановить сервисы, связанные с Hadoop, и удалить данные Hadoop.
stop-all.sh
rm -rf ~/hadoopdataКогда вы увидите следующее сообщение, инициализация будет завершена:
2024-03-01 11:16:10,439 INFO common.Storage: Storage directory /home/hadoop/hadoopdata/hdfs/namenode has been successfully formatted.Поскольку HDFS - это распределенная файловая система (distributed storage system), построенная поверх локальных дисков, вам нужно импортировать данные в нее перед использованием HDFS.
Первый и наиболее удобный способ подготовить некоторые файлы - использовать в качестве примера конфигурационный файл Hadoop.
Сначала вам нужно запустить демон HDFS:
/home/hadoop/hadoop/sbin/start-dfs.shПросмотреть службы:
hadoop:~$ jps
8341 SecondaryNameNode
7962 NameNode
8474 Jps
8107 DataNodeСоздать директорию и скопировать данные, введя следующую команду в терминале:
cd /home/hadoop
mkdir sample_data
cp -r /home/hadoop/hadoop/etc/hadoop/* sample_data/Просмотреть содержимое директории:
hadoop:~$ ls /home/hadoop/sample_data/
capacity-scheduler.xml kms-log4j.properties
configuration.xsl kms-site.xml
...Любая операция над HDFS начинается с hdfs dfs и дополняется соответствующими параметрами операции. Наиболее часто используемый параметр - put, который используется следующим образом и может быть введен в терминале:
/home/hadoop/hadoop/bin/hdfs dfs -put /home/hadoop/sample_data/hadoop-policy.xml /policy.xmlПросмотреть содержимое директории:
hadoop:~$ hdfs dfs -ls /policy.xml
-rw-r--r-- 1 hadoop supergroup 11765 2024-03-01 11:37 /policy.xmlПоследний /policy.xml в команде означает, что имя файла, хранящегося в HDFS, - policy.xml, а путь - / (корневая директория). Если вы хотите продолжить использовать предыдущее имя файла, вы можете напрямую указать путь /.
Если вам нужно загрузить несколько файлов, вы можете последовательно указать путь к файлам локальной директории и завершить указанием целевого пути хранения в HDFS:
/home/hadoop/hadoop/bin/hdfs dfs -mkdir -p /user/hadoop
/home/hadoop/hadoop/bin/hdfs dfs -put /home/hadoop/sample_data/httpfs-env.sh /home/hadoop/sample_data/mapred-env.sh /user/hadoopПросмотреть содержимое директории:
hadoop:~$ hdfs dfs -ls /user/hadoop
Found 2 items
-rw-r--r-- 1 hadoop supergroup 1484 2024-03-01 11:42 /user/hadoop/httpfs-env.sh
-rw-r--r-- 1 hadoop supergroup 1764 2024-03-01 11:42 /user/hadoop/mapred-env.shПри указании параметров, связанных с путями, правила такие же, как в Linux-системе. Вы можете использовать подстановочные знаки (например, *.sh), чтобы упростить операцию.
Аналогично вы можете использовать параметр -ls, чтобы вывести список файлов в указанной директории:
/home/hadoop/hadoop/bin/hdfs dfs -ls /user/hadoopСписок файлов, отображаемых здесь, может отличаться в зависимости от экспериментальной среды.
Если вам нужно просмотреть содержимое файла, вы можете использовать параметр cat. Самым простым способом является прямой указание пути к файлу на HDFS. Если вам нужно сравнить локальную директорию с файлами на HDFS, вы можете указать их пути отдельно. Однако следует отметить, что локальная директория должна начинаться с индикатора file://, за которым следует путь к файлу (например, /home/hadoop/.bashrc, не забывайте / в начале). В противном случае любой путь, указанный здесь, по умолчанию будет восприниматься как путь на HDFS:
/home/hadoop/hadoop/bin/hdfs dfs -cat file:///home/hadoop/.bashrc /user/hadoop/mapred-env.shВывод будет таким:
hadoop:~$ hdfs dfs -cat file:///home/hadoop/.bashrc /user/hadoop/mapred-env.sh
## ~/.bashrc: executed by bash(1) for non-login shells.
## see /usr/share/doc/bash/examples/startup-files (in the package bash-doc)
## for examples
## If not running interactively, don't do anything
case $- in
...Если вам нужно скопировать файл в другой путь, вы можете использовать параметр cp:
/home/hadoop/hadoop/bin/hdfs dfs -cp /user/hadoop/mapred-env.sh /user/hadoop/copied_file.txtАналогично, если вам нужно переместить файл, используйте параметр mv. Это в основном то же самое, что и формат команды для файловой системы Linux:
/home/hadoop/hadoop/bin/hdfs dfs -mv /user/hadoop/mapred-env.sh /moved_file.txtИспользуйте параметр lsr, чтобы вывести содержимое текущей директории, включая содержимое поддиректорий. Вывод будет таким:
hdfs dfs -lsr /Если вы хотите добавить некоторое новое содержимое в файл на HDFS, вы можете использовать параметр appendToFile. При этом при указании пути к локальному файлу, который нужно добавить, вы можете указать несколько файлов. Последним параметром будет объект, в который нужно добавить содержимое. Файл должен существовать на HDFS, иначе будет выдано сообщение об ошибке:
echo 1 >> a.txt
echo 2 >> b.txt
/home/hadoop/hadoop/bin/hdfs dfs -appendToFile a.txt b.txt /user/hadoop/mapred-env.shВы можете использовать параметр tail, чтобы просмотреть содержимое конца файла (последнюю часть файла) и подтвердить, был ли добавлен новый текст успешно:
/home/hadoop/hadoop/bin/hdfs dfs -tail /user/hadoop/mapred-env.shПосмотрите на вывод команды tail:
hadoop:~$ echo 1 >> a.txt
echo 2 >> b.txt
hdfs dfs -appendToFile a.txt b.txt /user/hadoop/mapred-env.sh
hadoop:~$ hdfs dfs -tail /user/hadoop/mapred-env.sh
1
2Если вам нужно удалить файл или директорию, используйте параметр rm. Этот параметр также может быть дополнен -r и -f, которые имеют те же значения, что и для команды rm файловой системы Linux:
/home/hadoop/hadoop/bin/hdfs dfs -rm /moved_file.txtСодержимое файла moved_file.txt будет удалено, и команда вернет следующий вывод 'Deleted /moved_file.txt'
В предыдущем материале мы узнали, как создавать директорию в HDFS. Фактически, если вам нужно создать сразу несколько директорий, вы можете напрямую указать пути к нескольким директориям в качестве параметров. Параметр -p означает, что родительская директория будет создана автоматически, если она не существует:
/home/hadoop/hadoop/bin/hdfs dfs -mkdir -p /user/hadoop/dir1 /user/hadoop/dir2/sub_dir1Если вы хотите узнать, сколько места занимает определенный файл или директория, вы можете использовать параметр du:
/home/hadoop/hadoop/bin/hdfs dfs -du /user/hadoop/Вывод будет таким:
hadoop:~$ hdfs dfs -du /user/hadoop/
1764 1764 /user/hadoop/copied_file.txt
0 0 /user/hadoop/dir1
0 0 /user/hadoop/dir2
1484 1484 /user/hadoop/httpfs-env.sh
4 4 /user/hadoop/mapred-env.shВ предыдущем разделе мы в основном рассмотрели операции с файлами и директориями в HDFS. Если приложение, такое как MapReduce, выполняет вычисления и генерирует файл с результатами, вы можете использовать параметр get, чтобы экспортировать его в локальную директорию системы Linux.
Первый параметр пути здесь относится к пути в HDFS, а последний путь - к пути, сохраненному в локальной директории:
/home/hadoop/hadoop/bin/hdfs dfs -get /user/hadoop/mapred-env.sh /home/hadoop/exported_file.txtЕсли экспорт завершен успешно, вы можете найти файл в своей локальной директории:
cd ~
lsВывод будет таким:
a.txt b.txt exported_file.txt hadoop hadoopdata sample_dataКаждый NameNode или DataNode запускает веб-сервер внутри себя, который отображает базовую информацию, такую как текущее состояние кластера. В стандартной конфигурации домашняя страница NameNode - это http://localhost:9870/. Она показывает основные статистические данные для DataNodes и кластера.
Откройте веб-браузер и введите в адресной строке следующее:
http://localhost:9870/В разделе Summary вы можете увидеть количество активных узлов DataNode в текущем "кластере":
Веб-интерфейс также можно использовать для просмотра директорий и файлов внутри HDFS. В меню на верхней панели нажмите на ссылку "Browse the file system" в разделе "Utilities":
Теперь мы закончили с описанием некоторых основных операций WebHDFS. Более подробные инструкции можно найти в документации по WebHDFS. Этот практикум завершен. По привычке мы все еще должны остановить Hadoop-кластер:
/home/hadoop/hadoop/sbin/stop-yarn.sh
/home/hadoop/hadoop/sbin/stop-dfs.shhadoop:~$ jps
11633 JpsВ этом практикуме мы рассмотрели архитектуру HDFS. Также мы узнали основные команды для работы с HDFS из командной строки, а затем перешли к веб-интерфейсу доступа к HDFS, который поможет HDFS функционировать как реальное хранилище для внешних приложений.
В этом практикуме не рассматриваются сценарии удаления файлов в WebHDFS. Вы можете самостоятельно изучить документацию. В официальной документации скрыты многие дополнительные функции, поэтому обязательно оставайтесь открыты для чтения документации.
Ниже приведены материалы для дополнительного чтения:
