Big Data Tutorials
Der Big Data-Lernpfad ist darauf ausgelegt, die Verarbeitung großer Datenmengen zu meistern. Unsere Tutorials decken wesentliche Konzepte und Werkzeuge ab, die sowohl für Anfänger als auch für Fortgeschrittene geeignet sind. Durch praktische Labore und reale Codebeispiele sammeln Sie praktische Erfahrungen in Datenanalyse, -verarbeitung und -visualisierung. Unser interaktiver Spielplatz ermöglicht es Ihnen, Big Data-Technologien in einer risikofreien Umgebung auszuprobieren.
Andere Kompetenzbäume
LinuxDevOpsCybersicherheitAWSDevOps EngineerCybersecurity EngineerDevSecOpsKali LinuxRed Hat Enterprise LinuxRHCSA-SchulungRHCE-in-Enterprise-Linux-SchulungLFCS-SchulungShellGitCloudflareDockerKubernetesCKA-SchulungCKAD-SchulungCKS-SchulungAnsibleRHCE-in-Ansible-SchulungJenkinsNmapWiresharkHydraCompTIADatenbankMySQLPostgreSQLRedisMongoDBSQLitePythonRustGolangJavaCC++WebentwicklungDatenwissenschaft
Ihr erster PySpark-DataFrame
Führen Sie ein vollständiges Spark-Skript aus, prüfen Sie einen kleinen Bestell-DataFrame samt Schema und sagen Sie voraus, wie ein zusätzlicher Datensatz einen neuen Lauf verändert.
Big Data
Teilen Sie Arbeit mit Kafka-Consumer-Gruppen auf
Beobachten Sie, wie zwei laufende Consumer Partitionen aufteilen, eine unabhängige Gruppe dieselben Ereignisse liest und nach dem Ausscheiden eines Mitglieds die Zuweisung übernommen wird.
Big DataLinuxShell
Übermitteln und untersuchen Sie einen YARN-Batch-Job
Führen Sie den bekannten Produkt-WordCount mit HDFS-Eingaben tatsächlich auf YARN aus, prüfen Sie Anwendungsstatus und Protokolle und kontrollieren und wiederholen Sie die Ausgabe sicher.
Big DataShellLinux
Übermitteln und wiederholen Sie eine Spark-Batch-Anwendung
Verwenden Sie spark-submit mit ausdrücklichem Master und Ein-/Ausgabeargumenten, prüfen Sie echten Rückgabestatus und Protokolle und beheben Sie fehlende Eingaben sowie vorhandene Ausgabepfade gezielt.
Big DataShell
Verfolgen Sie Kafka-Consumer-Offsets und lesen Sie Ereignisse erneut
Beobachten Sie festgeschriebene nächste Offsets und Rückstände, setzen Sie einen begrenzten benannten Consumer fort und lesen Sie gespeicherte Datensätze nach dem Zurücksetzen einer inaktiven Gruppe gezielt erneut.
Big Data
Verstehen Sie Map, Shuffle und Reduce
Sagen Sie Produktanzahlen voraus, untersuchen Sie Map, Shuffle und Reduce mit einem kleinen Lernwerkzeug und führen Sie denselben WordCount-Algorithmus mit Hadoops vorbereitetem Beispiel-JAR im lokalen Modus aus.
Big DataLinuxShell
Verstehen Sie Spark-Ausführung und häufige Fehler
Verbinden Sie bekannte Transformationen mit echtem Ausführungsplan und Ereignisprotokoll, unterscheiden Sie Berechnungs- von Verzeichnispartitionen und korrigieren Sie zwei häufige Ausdrucksfehler.
Big Data
Verstehen Sie Ihre Hadoop-Umgebung
Erkunden Sie das Zusammenspiel der Hadoop-Komponenten, prüfen Sie das konfigurierte Dateisystem, vergleichen Sie lokale und HDFS-Pfade und lesen Sie aktuelle Informationen zu HDFS-Diensten und Speicherknoten.
LinuxBig Data
Schreiben und untersuchen Sie partitionierte Spark-Parquet-Daten
Speichern Sie vorbereitete Bestellungen als nach Datum partitioniertes Parquet, rekonstruieren und prüfen Sie typisierte Datensätze und vergleichen Sie Überschreiben mit Anhängen an einer Übungsausgabe.
Big Data
Ihr erstes Hadoop-Lab
Erfahren Sie, was Big Data bedeutet und welche Rolle Hadoop spielt. Laden Sie dann eine Textdatei mit Handelsdaten in HDFS hoch, lesen Sie sie zurück und prüfen Sie ihren Inhalt in einer vorbereiteten Umgebung.
Big DataLinuxShell
Ihre erste Hive-Abfrage
Lernen Sie die Rolle von Apache Hive im Datenworkflow kennen, erkunden Sie eine vorbereitete Handelstabelle und schreiben Sie Ihre erste SQL-Datei zum Auswählen und Prüfen bezahlter Bestellungen.
Big DataShell
Lesen und korrigieren Sie grundlegende HDFS-Berechtigungen
Lesen Sie HDFS-Eigentümer, Gruppen und Berechtigungsmodi, geben Sie einen Datensatz für eine Gruppe frei und testen Sie echte Zugriffe mit normalen Identitäten, ohne Dateien öffentlich beschreibbar zu machen.
Big Data
Senden und lesen Sie Ihr erstes Kafka-Ereignis
Lernen Sie Kafkas Rolle bei der Ereignisübermittlung kennen, erstellen Sie ein Topic mit einer Partition, beobachten Sie Producer und Consumer in getrennten Terminals und lesen Sie gespeicherte Bestellereignisse erneut.
Big DataLinux
Wählen, filtern und transformieren Sie Spark-Bestelldaten
Wählen Sie mit typisierten Spaltenausdrücken Felder aus, kombinieren Sie Zeilenbedingungen, berechnen Sie dezimale Bestellbeträge und vergleichen Sie bezahlte und ausstehende Ergebnisse.
Big Data
Speichern Sie Hive-Abfrageergebnisse als ORC-Tabellen
Speichern Sie einen dezimalen Tagesverkaufsbericht in ORC, lesen Sie ihn zurück und vergleichen Sie wiederholbares Überschreiben mit duplizierendem Anhängen an einer Übungstabelle.
Big Data
Leiten Sie Kafka-Ereignisse mit Schlüsseln und Partitionen weiter
Veröffentlichen Sie Bestellereignisse mit Schlüsseln, untersuchen Sie tatsächliche Schlüssel, Partitionen und Offsets und beobachten Sie die Weiterleitung je Bestellung, ohne eine globale Datensatzreihenfolge anzunehmen.
Big Data
Lesen Sie Spark-CSV mit einem ausdrücklichen Schema
Vergleichen Sie das Laden einer CSV als Text und mit Typerkennung mit einem ausdrücklichen Schema aus sieben Spalten und wenden Sie dieselben Typen auf eine neue Lieferung an.
Big Data
Lesen Sie JSON-Ereignisse in Spark-DataFrames ein
Lesen Sie statische JSON-Lines-Dateien mit ausdrücklichen Typen, wählen Sie Bestellereignisse aus und glätten Sie eine einfache verschachtelte Kundenstruktur, ohne zu Streaming zu wechseln.
Big Data
- Vorherige
- 1
- 2
- Nächste