Big Data Учебники
Учебный путь по большим данным предназначен для освоения обработки данных в больших масштабах. Наши уроки охватывают основные концепции и инструменты, подходящие как для начинающих, так и для учащихся среднего уровня. Через практические лаборатории и примеры кода из реальной жизни вы получите практический опыт в анализе, обработке и визуализации данных. Наша интерактивная площадка позволяет вам экспериментировать с технологиями больших данных в безопасной среде.
Другие деревья навыков
LinuxDevOpsКибербезопасностьAWSDevOps EngineerCybersecurity EngineerDevSecOpsKali LinuxRed Hat Enterprise LinuxОбучение RHCSAОбучение RHCE in Enterprise LinuxОбучение LFCSShellGitCloudflareDockerKubernetesОбучение CKAОбучение CKADОбучение CKSAnsibleОбучение RHCE in AnsibleJenkinsNmapWiresharkHydraCompTIAБаза данныхMySQLPostgreSQLRedisMongoDBSQLitePythonRustGolangJavaCC++Web DevelopmentНаука о данных
Ваш первый DataFrame PySpark
Запустите полный скрипт Spark, изучите небольшой DataFrame заказов и его схему и предположите, как одна дополнительная запись изменит новый запуск.
Big Data
Распределите работу между потребителями группы Kafka
Понаблюдайте за распределением разделов между двумя работающими потребителями, чтением тех же событий независимой группой и восстановлением назначения после выхода участника.
Big DataLinuxShell
Отправьте и изучите пакетное задание YARN
Выполните знакомый WordCount на данных HDFS через настоящее выполнение YARN, изучите состояние и журналы приложения, проверьте результат и безопасно повторите запуск.
Big DataShellLinux
Отправьте и повторно запустите пакетное приложение Spark
Используйте spark-submit с явными master и путями, изучите настоящие коды завершения и журналы и безопасно исправьте отсутствующий вход и конфликт выходного пути.
Big DataShell
Отслеживайте смещения потребителей Kafka и читайте события повторно
Изучите зафиксированные смещения следующего чтения и отставание, продолжите чтение именованным потребителем и повторно прочитайте сохранённые записи после сброса неактивной группы.
Big Data
Разберитесь в Map, Shuffle и Reduce
Предположите количества товаров, изучите Map/Shuffle/Reduce с учебным инструментом и запустите тот же алгоритм WordCount из готового JAR Hadoop в локальном режиме.
Big DataLinuxShell
Разберитесь в выполнении Spark и типичных ошибках
Свяжите знакомые преобразования с настоящим планом и журналом событий, отличите вычислительные разделы от каталогов и исправьте две типичные ошибки выражений.
Big Data
Разберитесь в своей среде Hadoop
Узнайте, как связаны компоненты Hadoop, проверьте настроенную файловую систему, сравните локальные пути и пути HDFS и изучите сведения о работающих службах и узле хранения HDFS.
LinuxBig Data
Запишите и изучите Parquet Spark с разделами
Сохраните подготовленные заказы в Parquet с разделами по датам, восстановите и запросите типизированные записи и сравните перезапись с добавлением во временном результате.
Big Data
Ваша первая лабораторная работа с Hadoop
Узнайте, что такое большие данные и какую роль играет Hadoop. Загрузите текстовый файл с товарами в HDFS, прочитайте его обратно и проверьте содержимое в подготовленной среде.
Big DataLinuxShell
Ваш первый запрос Hive
Узнайте роль Apache Hive в работе с данными, изучите подготовленную таблицу продаж и напишите первый SQL-файл для выбора и проверки оплаченных заказов.
Big DataShell
Изучите и исправьте базовые права доступа HDFS
Изучите владельца, группу и режимы доступа HDFS, предоставьте группе доступ к данным и проверьте его от обычных пользователей, не разрешая всем запись в файлы.
Big Data
Отправьте и прочитайте своё первое событие Kafka
Изучите роль Kafka в доставке событий, создайте топик с одним разделом, понаблюдайте за производителем и потребителем в разных терминалах и повторно прочитайте сохранённые события заказов.
Big DataLinux
Выбирайте, фильтруйте и преобразуйте заказы Spark
Используйте выражения типизированных столбцов для выбора полей, объединения условий строк, расчёта десятичных сумм заказов и сравнения оплаченных и ожидающих заказов.
Big Data
Сохраните результаты запросов Hive в таблицы ORC
Сохраните ежедневный отчёт продаж с десятичными суммами в ORC, прочитайте его обратно и сравните повторяемую перезапись с добавлением дубликатов на временной таблице.
Big Data
Направляйте события Kafka с помощью ключей и разделов
Опубликуйте события заказов с ключами, изучите фактические ключи, разделы и смещения и проследите маршрутизацию каждого заказа без предположения об общем порядке записей.
Big Data
Читайте CSV в Spark с явной схемой
Сравните чтение CSV только как строк и с выводом типов с явной схемой из семи столбцов, затем примените те же типы к новой порции данных.
Big Data
Читайте события JSON в DataFrame Spark
Читайте статические JSON Lines с явными типами, выбирайте события заказов и разворачивайте простую вложенную структуру клиента без перехода к потоковой обработке.
Big Data
- Предыдущий
- 1
- 2
- Следующий