Откройте древние секреты с помощью команд Hadoop YARN

Введение

В огромном и безжалостном пустыне Сахары известный исследователь отправляется в смелое путешествие, чтобы раскрыть секреты древней цивилизации. С гореющим солнцем над головой и поднимивающимися песками под ногами, ему нужно продвигаться через опасные дюны и трудные условия, чтобы достичь своей цели - скрытого археологического места, где, по слухам, хранятся бесценные артефакты.

Его миссия заключается не только в том, чтобы выкопать эти древние памятники, но и в том, чтобы изучить передовые технологии, использовавшиеся давно забытым обществом. К счастью, исследователь взял с собой мощный инструмент - Hadoop YARN (Yet Another Resource Negotiator) - технологию управления кластером, которая поможет ему обрабатывать и анализировать огромные объемы данных, которые он встретит в ходе своего поиска.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopYARNGroup -.-> hadoop/yarn_setup("Hadoop YARN Basic Setup") hadoop/HadoopYARNGroup -.-> hadoop/yarn_app("Yarn Commands application") hadoop/HadoopYARNGroup -.-> hadoop/yarn_jar("Yarn Commands jar") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("Resource Manager") hadoop/HadoopYARNGroup -.-> hadoop/node_manager("Node Manager") subgraph Lab Skills hadoop/yarn_setup -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} hadoop/yarn_app -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} hadoop/yarn_jar -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} hadoop/yarn_node -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} hadoop/resource_manager -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} hadoop/node_manager -.-> lab-289009{{"Приложение команд Hadoop Yarn"}} end

Исследуем Менеджер ресурсов Hadoop YARN

В этом шаге мы исследуем Менеджер ресурсов Hadoop YARN, который отвечает за управление ресурсами кластера и планирование приложений.

Сначала перейдем к пользователю hadoop, выполнив следующую команду в терминале:

su - hadoop

Далее получим информацию о Менеджере ресурсов YARN, выполнив следующую команду:

yarn node --list

Эта команда покажет список активных NodeManager в кластере Hadoop, а также их статус, идентификаторы узлов и другую важную информацию.

Вот пример вывода:

2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587	        RUNNING	iZj6cb368r3kuiwgkci85bZ:8042	                           0

Отправка приложения YARN

В этом шаге мы узнаем, как отправить приложение YARN в кластер. Мы будем использовать простой пример, который вычисляет число Пи.

yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3

В выводе будут содержаться результаты вычислений.

Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556

Резюме

В этом практическом занятии мы изучили Hadoop YARN (Yet Another Resource Negotiator) и узнали, как взаимодействовать с Менеджером ресурсов для управления ресурсами кластера и планирования приложений. Мы начали с перечисления активных NodeManager в кластере, что дало нам представление о доступных ресурсах.

Далее мы отправили приложение YARN, которое вычисляет значение числа Пи с точностью до 25 цифр. Приложение было успешно отправлено и выполнено, что демонстрирует способность YARN эффективно распределять ресурсы и выполнять распределенные задачи.

В ходе этого практического занятия я приобрел практические знания о командах YARN и о том, как использовать мощь Hadoop для распределенных вычислительных задач. Комбинация теоретических концепций и практических упражнений усилила мое понимание этой мощной технологии, подготовив меня к реальным сценариям, где эффективная обработка и анализ данных являются至关重要的.