Учебные материалы LFCS

Узнайте, что такое большие данные и какую роль играет Hadoop. Загрузите текстовый файл с товарами в HDFS, прочитайте его обратно и проверьте содержимое в подготовленной среде.

Узнайте, как связаны компоненты Hadoop, проверьте настроенную файловую систему, сравните локальные пути и пути HDFS и изучите сведения о работающих службах и узле хранения HDFS.

Предположите количества товаров, изучите Map/Shuffle/Reduce с учебным инструментом и запустите тот же алгоритм WordCount из готового JAR Hadoop в локальном режиме.

Выполните знакомый WordCount на данных HDFS через настоящее выполнение YARN, изучите состояние и журналы приложения, проверьте результат и безопасно повторите запуск.

Понаблюдайте за распределением разделов между двумя работающими потребителями, чтением тех же событий независимой группой и восстановлением назначения после выхода участника.

Сохраните исходные данные о товарах при копировании, архивировании, выгрузке, измерении и удалении временных файлов HDFS. Узнайте, какую файловую систему меняет каждая операция.

Организуйте текстовые файлы с товарами в ежедневные пакеты HDFS, отличайте сохранённые байты от смысла данных и создайте точный список входных файлов без посторонних дат и прошлых результатов.

Изучите роль Kafka в доставке событий, создайте топик с одним разделом, понаблюдайте за производителем и потребителем в разных терминалах и повторно прочитайте сохранённые события заказов.

Сопоставьте простой CSV продаж с внешней таблицей Hive, проверьте столбцы и обработку заголовка, измените расположение данных и проверьте сохранность файлов после удаления временной внешней таблицы.

В далекой галактике Зилотийская Империя запустила агрессивную кампанию по завоеванию и ассимиляции всех населенных планет. Как командир межгалактической оборонительной флота, ваша миссия - координировать разDEPLOYMENT ресурсов и управлять оборонительными узлами во множестве звездных систем. Однако, хитрый противник, Зилотийский Владыка, разработал сложный метод для нарушения работы вашего центра командования, делая ваши оборонительные усилия бесполезными.

В далекой галактике космическая станция Андромеда служит центром для межгалактических исследований и исследования. Вместе с тем, как опытный пилот космического корабля, ваша миссия - это проложить путь через огромное пространство, собирая и анализируя данные с различных небесных тел. Однако ваше путешествие не обходится без проблем. Компьютерная система на борту космического корабля, работающая на базе Hadoop, требует от вас мастерства в эффективном управлении и мониторинге ресурсов с использованием журнала команд Yarn.

В футуристической фабрике роботов, где передовая технология сочетается с точной инженерией, вы принимаете роль техника обслуживания роботов. Ваш главный целью является обеспечить эффективное распределение и управление вычислительными ресурсами в сложной сети завода. Эта сеть обеспечивает когнитивные функции роботов, позволяя им выполнять сложные задачи с неравнодушием точностью и скоростью.

Жители райской бухты Затонувших сокровищ всегда были в восторге от легенды о пиратском корабле, который затонул у их берегов несколько веков назад. По местным легендам, в отсеке корабля было полно бесценных сокровищ, которые до сих пор не были открыты. Однажды любопытный житель по имени Джек случайно находит древнюю карту, которая обещает показать ему путь к затонувшим богатствам. Взволнованный перспективой найти потерянное сокровище, Джек отправляется в захватывающее приключение, решая разгадать тайны глубины и овладеть легендарной наградой.

В сказочном мире под названием Datopia, где информация течет как ручьи чистого знания, жилa любопытная существо по имени Datina. Единственная цель Datina - понять сложные механизмы работы с данными и использовать их потенциал. Однажды Datina наткнулась на таинственную силу, известную как Hadoop, мощный инструмент для обработки огромных объемов данных. Однако, чтобы полностью раскрыть его возможности, Datina должна была овладеть искусством выполнения команд Yarn и манипуляции с jar-файлами.

Представьте себе ситуацию, когда вы - морской археолог, исследующий глубины 'Золотой бухты - затонувшей'. Говорят, что эта мистическая бухта хранит секреты древних цивилизаций, их сокровищ и артефактов, потерянных под волнами

В загадочном царстве Датагонии храбрый рыцарь данных по имени Рыцарь-Лев отправился в необычайное путешествие

В этом практическом занятии вы узнаете, как овладеть политиками хранения в Hadoop, раскрыв тайны, скрытые в золотых песках огромной Аравийской пустыни. Вы отправитесь в путешествие, где мудрый волшебник вызовет вас использовать силу этих политик для эффективного управления хранением данных в Hadoop. Получите ценнейшие навыки по хранению и получению данных на разных уровнях, оптимизируя как производительность, так и экономичность.

Добро пожаловать на Международную Торговую Станцию, оживленный узел, где торговцы и путешественники из разных уголков галактики собираются для обмена товарами и услугами