Обновление раздела данных Hive — практический проект для тех, кто знаком с основными запросами Hive и хочет аккуратно исправлять архив. Для площадки одобрен новый полный набор подтверждённых посещений за определённые даты. Вы замените данные этих дат, обработаете одобренную дату без подтверждённых посещений и сохраните все остальные даты и исходные данные в первоначальном виде.
Курс включает одну пошаговую лабораторную работу и одно самостоятельное задание. В пошаговой работе вы сначала сравните добавление записей, замену всей таблицы и замену статического раздела на отдельных учебных таблицах, а затем исправите основной ORC-архив упражнения. В задании будут новые даты и записи-кандидаты, включая данные за пределами одобренного диапазона.
Чему вы научитесь
После завершения курса вы сможете:
- перед исправлением проверять расположение внешних таблиц, столбцы разделов и форматы хранения;
- отличать полную замену данных даты от добавления новых записей;
- выбирать статический целевой раздел и отдельно отбирать подтверждённые записи соответствующего источника;
- очищать одобренную дату, для которой полный набор подтверждённых записей замены пуст, сохраняя регистрацию раздела;
- сохранять записи неодобренных дат, их исходные файлы HDFS, а также предоставленные определения и данные источников;
- сохранять и выполнять SQL, повторно запускать тот же файл и проверять весь архив запросами чтения.
Для кого этот курс
Курс предназначен для учащихся с начальными знаниями Hive, которые хотят потренироваться в исправлении данных в строго одобренных пределах.
Предварительные требования: Основы перемещения по каталогам в Terminal, пути HDFS, внешние таблицы Hive, SELECT с WHERE, столбцы разделов и ORC. Пошаговая работа объясняет перезапись статического раздела и синтаксис оболочки для сохранения SQL.
Учебная среда: Для каждой части предоставляется собственная подготовленная среда Linux с Hive, HDFS, исходными записями и начальным архивом. Вы работаете во вкладке Terminal браузера; локальная установка не требуется. Команды, данные и вывод программ остаются на английском языке.
Часто задаваемые вопросы
Нужно ли устанавливать Hive или Hadoop?
Нет. Службы и данные курса подготовлены для каждой части. Вы можете сосредоточиться на чтении архива, определении одобренных границ и применении исправления.
Исправление обновляет каждую запись по отдельности?
Здесь одобренные данные-кандидаты представляют полный набор подтверждённых посещений за дату. Замена этого набора удаляет устаревшие записи, включая все прежние записи, если одобренная замена пуста.
Как задание развивает пошаговую работу?
Вы самостоятельно изучаете новый список одобренных дат и данные-кандидаты, применяете тот же механизм замены и сохраняете более поздние неодобренные данные. Задание инициализируется независимо и не требует файлов из пошаговой работы.
