Big Data Учебники
Учебный путь по большим данным предназначен для освоения обработки данных в больших масштабах. Наши уроки охватывают основные концепции и инструменты, подходящие как для начинающих, так и для учащихся среднего уровня. Через практические лаборатории и примеры кода из реальной жизни вы получите практический опыт в анализе, обработке и визуализации данных. Наша интерактивная площадка позволяет вам экспериментировать с технологиями больших данных в безопасной среде.
Другие деревья навыков
LinuxDevOpsКибербезопасностьAWSCybersecurity EngineerDevSecOpsКомпьютерные сетиCompTIAKali LinuxWiresharkNmapHydraRed Hat Enterprise LinuxОбучение RHCSAОбучение RHCE in Enterprise LinuxОбучение LFCSShellDevOps EngineerGitDockerKubernetesОбучение CKAОбучение CKADОбучение CKSAnsibleОбучение RHCE in AnsibleJenkinsCloudflareБаза данныхMySQLPostgreSQLRedisMongoDBSQLiteНаука о данныхPythonGolangRustJavaCC++Веб-разработка
Восстановите нужные файлы и сохраните новые данные
Восстановите утверждённые файлы HDFS, сохранив поздние дополнения и фактический групповой доступ только для чтения.
Big Data
Создайте точку восстановления перед изменением
Создайте собственную точку восстановления HDFS от имени обычного владельца и сравните защищённую историю с поздними изменениями.
Big Data
Отслеживайте смещения потребителей Kafka и читайте события повторно
Изучите зафиксированные смещения следующего чтения и отставание, продолжите чтение именованным потребителем и повторно прочитайте сохранённые записи после сброса неактивной группы.
Big Data
Читайте CSV в Spark с явной схемой
Сравните чтение CSV только как строк и с выводом типов с явной схемой из семи столбцов, затем примените те же типы к новой порции данных.
Big Data
Разберитесь в Map, Shuffle и Reduce
Предположите количества товаров, изучите Map/Shuffle/Reduce с учебным инструментом и запустите тот же алгоритм WordCount из готового JAR Hadoop в локальном режиме.
Big DataLinuxShell
Разберитесь в выполнении Spark и типичных ошибках
Свяжите знакомые преобразования с настоящим планом и журналом событий, отличите вычислительные разделы от каталогов и исправьте две типичные ошибки выражений.
Big Data
Ваша первая лабораторная работа с Hadoop
Узнайте, что такое большие данные и какую роль играет Hadoop. Загрузите текстовый файл с товарами в HDFS, прочитайте его обратно и проверьте содержимое в подготовленной среде.
Big DataLinuxShell
Ваш первый запрос Hive
Узнайте роль Apache Hive в работе с данными, изучите подготовленную таблицу продаж и напишите первый SQL-файл для выбора и проверки оплаченных заказов.
Big DataShell
Ваш первый DataFrame PySpark
Запустите полный скрипт Spark, изучите небольшой DataFrame заказов и его схему и предположите, как одна дополнительная запись изменит новый запуск.
Big Data
Запишите и изучите Parquet Spark с разделами
Сохраните подготовленные заказы в Parquet с разделами по датам, восстановите и запросите типизированные записи и сравните перезапись с добавлением во временном результате.
Big Data
Отправьте и повторно запустите пакетное приложение Spark
Используйте spark-submit с явными master и путями, изучите настоящие коды завершения и журналы и безопасно исправьте отсутствующий вход и конфликт выходного пути.
Big DataShell
Отправьте и изучите пакетное задание YARN
Выполните знакомый WordCount на данных HDFS через настоящее выполнение YARN, изучите состояние и журналы приложения, проверьте результат и безопасно повторите запуск.
Big DataShellLinux
Распределите работу между потребителями группы Kafka
Понаблюдайте за распределением разделов между двумя работающими потребителями, чтением тех же событий независимой группой и восстановлением назначения после выхода участника.
Big DataLinuxShell
Отправьте и прочитайте своё первое событие Kafka
Изучите роль Kafka в доставке событий, создайте топик с одним разделом, понаблюдайте за производителем и потребителем в разных терминалах и повторно прочитайте сохранённые события заказов.
Big DataLinux
Выбирайте, фильтруйте и преобразуйте заказы Spark
Используйте выражения типизированных столбцов для выбора полей, объединения условий строк, расчёта десятичных сумм заказов и сравнения оплаченных и ожидающих заказов.
Big Data
Сохраните результаты запросов Hive в таблицы ORC
Сохраните ежедневный отчёт продаж с десятичными суммами в ORC, прочитайте его обратно и сравните повторяемую перезапись с добавлением дубликатов на временной таблице.
Big Data
Направляйте события Kafka с помощью ключей и разделов
Опубликуйте события заказов с ключами, изучите фактические ключи, разделы и смещения и проследите маршрутизацию каждого заказа без предположения об общем порядке записей.
Big Data
Читайте события JSON в DataFrame Spark
Читайте статические JSON Lines с явными типами, выбирайте события заказов и разворачивайте простую вложенную структуру клиента без перехода к потоковой обработке.
Big Data
- Предыдущий
- 1
- 2
- 3
- Следующий