Введение
В огромном и безжалостном пустыне Сахары известный исследователь отправляется в смелое путешествие, чтобы раскрыть секреты древней цивилизации. С гореющим солнцем над головой и поднимивающимися песками под ногами, ему нужно продвигаться через опасные дюны и трудные условия, чтобы достичь своей цели - скрытого археологического места, где, по слухам, хранятся бесценные артефакты.
Его миссия заключается не только в том, чтобы выкопать эти древние памятники, но и в том, чтобы изучить передовые технологии, использовавшиеся давно забытым обществом. К счастью, исследователь взял с собой мощный инструмент - Hadoop YARN (Yet Another Resource Negotiator) - технологию управления кластером, которая поможет ему обрабатывать и анализировать огромные объемы данных, которые он встретит в ходе своего поиска.
Исследуем Менеджер ресурсов Hadoop YARN
В этом шаге мы исследуем Менеджер ресурсов Hadoop YARN, который отвечает за управление ресурсами кластера и планирование приложений.
Сначала перейдем к пользователю hadoop, выполнив следующую команду в терминале:
su - hadoop
Далее получим информацию о Менеджере ресурсов YARN, выполнив следующую команду:
yarn node --list
Эта команда покажет список активных NodeManager в кластере Hadoop, а также их статус, идентификаторы узлов и другую важную информацию.
Вот пример вывода:
2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587 RUNNING iZj6cb368r3kuiwgkci85bZ:8042 0
Отправить приложение YARN
В этом шаге мы узнаем, как отправить приложение YARN в кластер. Мы будем использовать простой пример, который вычисляет число Пи.
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3
В выводе будут содержаться результаты вычислений.
Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556
Резюме
В этом практическом занятии мы изучили Hadoop YARN (Yet Another Resource Negotiator) и узнали, как взаимодействовать с Менеджером ресурсов для управления ресурсами кластера и планирования приложений. Мы начали с перечисления активных NodeManager в кластере, что дало нам представление о доступных ресурсах.
Далее мы отправили приложение YARN, которое вычисляет значение числа Пи с точностью до 25 цифр. Приложение было успешно отправлено и выполнено, что демонстрирует способность YARN эффективно распределять ресурсы и выполнять распределенные задачи.
В ходе этого практического занятия я приобрел практические знания о командах YARN и о том, как использовать мощь Hadoop для распределенных вычислительных задач. Комбинация теоретических концепций и практических упражнений усилила мое понимание этой мощной технологии, подготовив меня к реальным сценариям, где эффективная обработка и анализ данных являются至关重要的。
