Введение
В далекой галактике космическая станция Андромеда служит центром межгалактических исследований и исследования. В качестве опытного пилота космического корабля ваша миссия - проложить путь через огромное пространство, собирая и анализируя данные о различных небесных телах. Однако ваше путешествие не обходится без проблем. Компьютерная система на борту корабля, работающая на основе Hadoop, требует от вас мастерства в эффективном управлении и мониторинге ресурсов с использованием журнала команд Yarn.
Ваша цель - обеспечить бесперебойную работу во время своих экспедиций, приобретая глубокое понимание журнала команд Yarn, мощного инструмента в экосистеме Hadoop. Освоив этот инструмент, вы сможете контролировать использование ресурсов, отслеживать ход выполнения задач и устранять любые возникающие проблемы, в конечном итоге гарантируя успех ваших миссий.
Ознакомьтесь с журналом команд Yarn
В этом шаге вы узнаете о фундаментальных концепциях журнала команд Yarn и его роли в управлении ресурсами в экосистеме Hadoop.
Сначала измените пользователя на hadoop, а затем перейдите в домашнюю директорию пользователя hadoop:
su - hadoop
Затем просмотрите список доступных команд Yarn.
yarn --help
Команда yarn --help выводит список доступных подкоманд и их описаний. Среди этих подкоманд вы найдете несколько связанных с логами, таких как yarn logs, yarn top и yarn node.
Вот пример вывода, который вы можете увидеть:
Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
node Prints information about a specific node
logs Fetch and view logs for a specific container
top View cluster information
...
Для понимания назначения и использования каждой подкоманды вы можете использовать флаг -help вместе с именем подкоманды. Например:
yarn logs -help
Это предоставит подробную информацию о подкоманде yarn logs, включая ее синтаксис, параметры и примеры.
Просмотр журналов контейнеров
В этом шаге вы узнаете, как получать и просматривать логи для определенного контейнера с использованием команды yarn logs.
Сначала давайте запустим пример задачи для генерации некоторых журналов:
Перейдите в директорию примеров Hadoop.
cd /home/hadoop/hadoop/share/hadoop/mapreduce
Запустите пример WordCount.
yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output
После запуска или завершения задачи вы можете получить логи с помощью команды yarn logs:
Получите идентификатор приложения из вывода задачи.
appId="application_1234567890123_0001"
Просмотрите логи для указанного приложения.
yarn logs -applicationId $appId
Замените application_1234567890123_0001 фактическим идентификатором приложения из вывода вашей задачи.
Команда yarn logs будет отображать объединенные логи из всех контейнеров, связанных с указанным приложением. Вы также можете просмотреть логи для определенного контейнера, используя параметр -containerId:
containerId="container_1234567890123_0001_01_000001"
yarn logs -applicationId $appId -containerId $containerId
Замените container_1234567890123_0001_01_000001 фактическим идентификатором контейнера, который вы хотите проверить.
Мониторинг ресурсов кластера
Команда yarn top предоставляет реального времени представление о использовании ресурсов кластера, включая информацию о запущенных приложениях, менеджерах узлов и распределении ресурсов.
yarn top
Вывод будет показывать сводку использования ресурсов кластера, включая общие доступные ресурсы, выделенные ресурсы и ожидающие ресурсы. Кроме того, будут перечислены запущенные приложения, их прогресс и ресурсы, которые они потребляют.
Проверка информации о узлах
Команда yarn node позволяет вам просматривать подробную информацию о конкретном менеджере узлов или менеджере ресурсов в кластере Hadoop.
Выведите информацию о всех узлах в кластере.
yarn node -list
Замените iZj6c7ur7j3az0k9shzn2kZ:38115 идентификатором менеджера узлов.
nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"
Для просмотра информации о менеджере узлов:
yarn node -status $nodeId
Вывод будет показывать информацию, такую как адрес менеджера узлов, состояние здоровья узла, доступные ресурсы и список запущенных контейнеров на узле.
Резюме
В этом практическом занятии вы узнали, как перемещаться по огромному пространству управления ресурсами Hadoop с помощью журнала команд Yarn. Освоив эти команды, вы приобрели возможность отслеживать использование ресурсов, отслеживать ход выполнения задач и устранять проблемы в экосистеме Hadoop. Эти знания будут бесценны при ваших межгалактических миссиях, обеспечивая эффективную работу и успешное сбор данных с небесных тел. Путешествие к превращению в опытного пилота космического корабля сделало значительный шаг вперед, и теперь вы лучше подготовлены к преодолению вызовов, которые ждут вас в глубинах космоса.
