Приключение с грибами-Обновителями в чудесном царстве Hadoop

Введение

В чудесном царстве, где грибы расцветают с магическими свойствами, смелая охотница по грибам по имени Майка отправляется в поиски редких грибов-Обновителей (Updatium). Эти редкие грибы обладают необыкновенной силой обновлять данные в экосистеме Hadoop, что является желанием всех любителей данных.

Миссия Майки - это пройти по извилистым путям зачарованного леса, преодолевая загадки и препятствия, чтобы найти и собрать грибы-Обновители. При каждом успешном сборе она будет раскрывать секреты обновления данных в Hive, мощном компоненте экосистемы Hadoop, и, в конечном итоге, стать мастером манипуляции данными.

Skills Graph

Настройка окружения

В этом шаге мы настроим окружение для нашей волшебной охоты за грибами. Мы создадим новую таблицу в Hive, чтобы хранить данные о грибах, которые мы найдем.

Во - первых, убедитесь, что вы вошли под пользователем hadoop, выполнив следующую команду в терминале:

su - hadoop

Теперь давайте запустим Hive CLI:

hive

Далее мы создадим новую базу данных под названием wonderland:

CREATE DATABASE wonderland;

После создания базы данных мы будем использовать ее и создать новую таблицу под названием mushrooms:

USE wonderland;

CREATE TABLE mushrooms (
    id INT,
    name STRING,
    type STRING,
    location STRING
)
CLUSTERED BY (id) INTO 2 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

Эта таблица будет хранить ID, имя, тип и местоположение каждого гриба, который мы найдем в чудесном царстве. Эта таблица может поддерживать операции UPDATE, объявляя таблицу как transactional и храня ее в формате ORC.

Сбор грибов-Обновителей (Updatium)

В этом шаге мы собираем грибы-Обновители и вставляем их данные в таблицу mushrooms, которую мы создали ранее.

Во - первых, давайте вставим некоторые примеры данных в таблицу mushrooms:

INSERT INTO mushrooms VALUES
(1, 'Чантерель', 'edible', 'Лес'),
(2, 'Портобело', 'edible', 'Поле'),
(3, 'Аманита мускария', 'Ядовитая', 'Лес'),
(4, 'Шитеки', 'edible', 'Ферма'),
(5, 'Устрица', 'edible', 'Лес');

Далее мы обновим столбец type для определенного гриба. Предположим, мы выяснили, что гриб с ID 3 на самом деле является грибом-Обновителем:

UPDATE mushrooms SET type = 'Updatium' WHERE id = 3;

Эта команда обновит столбец type до 'Updatium' для строки, где id равно 3.

Вы можете проверить обновление, выполнив запрос к таблице:

SELECT * FROM mushrooms WHERE id = 3;

Обновление нескольких строк

В этом шаге мы обновим столбец location для всех грибов-Обновителей, чтобы показать, что они были собраны.

Во - первых, давайте проверим, сколько грибов-Обновителей у нас в таблице:

SELECT COUNT(*) FROM mushrooms WHERE type = 'Updatium';

Теперь мы обновим столбец location для всех грибов-Обновителей:

UPDATE mushrooms SET location = 'Собран' WHERE type = 'Updatium';

Эта команда обновит столбец location до 'Собран' для всех строк, где type равен 'Updatium'.

Вы можете проверить обновление, выполнив запрос к таблице снова:

SELECT * FROM mushrooms WHERE type = 'Updatium';

Резюме

В этом практическом занятии мы отправились в волшебное путешествие по чудесному царству, узнав, как обновлять данные в Hive, мощном компоненте экосистемы Hadoop. Мы создали новую базу данных и таблицу для хранения данных о грибах, которые мы нашли, загрузили примеры данных и практиковали обновление одной и нескольких строк с использованием инструкции UPDATE.

С помощью этого практического опыта мы не только овладели искусством обновления данных, но и получили ценные знания о мире Hadoop и Hive. Завершив это практическое занятие, мы раскрыли секреты грибов-Обновителей, приобрели навыки в манипуляции данными и укрепили наше понимание экосистемы Hadoop.