Введение
Добро пожаловать на загадочный остров Баннистер, где обычное и необычное переплетаются. Здесь живет загадочный колдун Адриан, мастер аранских искусств. Его последнее предприятие - раскрыть секреты древних рукописей Hadoop, которые обладают силой разгадать тайны организации и манипуляции данными.
Ваша задача, если вы решите принять ее, - помочь колдуну Адриану создать таблицы в рамках Hadoop Hive. Это мощный инструмент позволяет структурировать и хранить огромные объемы данных, что позволяет извлекать ценные выводы и выявлять скрытые закономерности. Во время этого практикума вы изучите сложности создания таблиц, заложив основы для более глубокого понимания возможностей Hadoop.
Перемещение в среду Hadoop
В этом шаге мы подготовим среду для ваших будущих задач, перейдя в домашний каталог пользователя Hadoop.
Сначала откройте окно терминала и переключитесь на пользователя hadoop, выполнив следующую команду:
su - hadoop
Вам не будет предложено ввести пароль. После успешного переключения на пользователя hadoop текущим каталогом работы должно стать /home/hadoop.
Создание базы данных
Прежде чем мы сможем создать таблицы, нам нужно иметь базу данных для их хранения. В этом шаге мы создадим новую базу данных под названием magic_realm.
В терминале выполните следующую команду, чтобы запустить Hive CLI:
hive
После запуска Hive CLI выполните следующую команду для создания базы данных magic_realm:
CREATE DATABASE magic_realm;
Вы должны увидеть сообщение об успехе, которое свидетельствует о том, что база данных создана.
Создание таблицы
Теперь, когда у нас есть база данных, создадим в ней первую таблицу. Эта таблица будет хранить информацию о различных магических существах, обитающих на острове Баннистер.
Сначала переключитесь на базу данных magic_realm, выполнив следующую команду в Hive CLI:
USE magic_realm;
Далее создайте таблицу под названием creatures со следующей структурой:
CREATE TABLE creatures (
id INT,
name STRING,
species STRING,
habitat STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';
Эта команда создает таблицу creatures с четырьмя столбцами:
id: целочисленное значение, представляющее уникальный идентификатор существа.name: строковое значение, представляющее имя существа.species: строковое значение, представляющее вид существа.habitat: строковое значение, представляющее место обитания существа.
Кlause ROW FORMAT DELIMITED задает, что данные в таблице будут разделены запятыми (,).
Загрузка данных в таблицу
После создания таблицы creatures настало время заполнить ее данными. Мы будем использовать примерный файл данных, содержащий информацию о различных магических существах.
Сначала создайте новую директорию под названием data в директории /home/hadoop:
mkdir /home/hadoop/data
Далее создайте файл под названием creatures.csv в директории /home/hadoop/data с следующим содержанием:
1,Unicorn,Equine,Forest
2,Phoenix,Avian,Volcanic Regions
3,Mermaid,Aquatic,Oceans
4,Griffon,Hybrid,Mountains
Сохраните файл и выйдите из текстового редактора.
Затем убедитесь, что вы находитесь в Hive shell. Если нет, запустите его, выполнив следующую команду:
hive
Переключитесь на базу данных magic_realm с помощью следующей команды:
USE magic_realm;
Теперь мы можем загрузить данные из creatures.csv в таблицу creatures с помощью следующей команды в Hive CLI:
LOAD DATA LOCAL INPATH '/home/hadoop/data/creatures.csv' INTO TABLE creatures;
Эта команда загружает данные из локального файла /home/hadoop/data/creatures.csv в таблицу creatures.
Резюме
В этом практическом занятии вы помогла(ь) Магусу Адриану в освоении среды Hadoop Hive и овладении искусством создания таблиц. Вы узнали, как создавать базы данных, определять структуры таблиц и загружать данные в таблицы. Эти базовые навыки будут служить основой для вашего путешествия в мир обработки и анализа данных.
При дальнейшем изучении вы будете углубляться в сложности Hadoop Hive, раскрывая его полный потенциал для разгадания загадок, скрытых в огромных наборах данных. Помните, что путь к мастерству лежит в усердном практике и непоколебимой решимости. Встретите вызовы с张开双臂 и пусть мудрость древних рукописей проведет вас к тому, чтобы стать настоящим Магом данных.
