Big Data チュートリアル
ビッグデータの学習パスは、大規模データ処理を習得するために設計されています。私たちのチュートリアルは、初心者と中級者の両方に適した重要な概念とツールをカバーします。実践的なラボと実世界のコード例を通じて、データ分析、処理、可視化の実務経験を得ることができます。インタラクティブなプレイグラウンドでは、リスクのない環境でビッグデータ技術を試すことができます。
その他のスキルツリー
LinuxDevOpsサイバーセキュリティAWSDevOps EngineerCybersecurity EngineerDevSecOpsKali LinuxRed Hat Enterprise LinuxRHCSA トレーニングRHCE in Enterprise Linux トレーニングLFCS トレーニングShellGitCloudflareDockerKubernetesCKA トレーニングCKAD トレーニングCKS トレーニングAnsibleRHCE in Ansible トレーニングJenkinsNmapWiresharkHydraCompTIAデータベースMySQLPostgreSQLRedisMongoDBSQLitePythonRustGo 言語JavaC 言語C++ウェブ開発データサイエンス
初めての PySpark DataFrame
完全な Spark スクリプトを実行し、小さな注文 DataFrame とスキーマを確認します。記録を1つ加えると、新しい実行で何が変わるか予想します。
Big Data
Kafka コンシューマーグループで処理を分担する
動作中の2つのコンシューマーによるパーティション分担、同じイベントを読む独立したグループ、メンバー離脱後の割り当ての引き継ぎを観察します。
Big DataLinuxShell
YARN バッチジョブを投入して確認する
既習の商品 WordCount を HDFS 入力に対して実際の YARN で実行します。アプリケーションの状態とログを調べ、出力を照合して安全に再実行します。
Big DataShellLinux
Spark バッチアプリケーションを投入して再実行する
master と入出力引数を明示して spark-submit を使い、実際の終了状態とログを確認します。入力不足や既存の出力パスから安全に復旧します。
Big DataShell
Kafka コンシューマーのオフセットを追跡してイベントを再読する
コミット済みの次のオフセットとラグを観察し、件数を制限した名前付きコンシューマーを再開します。非アクティブなグループをリセットし、保持されたレコードを意図的に再読します。
Big Data
Map・Shuffle・Reduce を理解する
商品数を予想し、小さな学習用ツールで Map・Shuffle・Reduce を確認します。同じ WordCount アルゴリズムを、準備済みの Hadoop サンプル JAR でローカル実行します。
Big DataLinuxShell
Spark の実行とよくあるエラーを理解する
既習の変換を実際の実行計画とイベントログに結び付け、計算用と保存用のパーティションを区別して、よくある2つの式のエラーを修正します。
Big Data
Hadoop 環境を理解する
Hadoop の構成要素の関係を学び、設定されたファイルシステムを調べ、ローカルと HDFS のパスを比較して、稼働中の HDFS サービスとストレージノードの情報を読み取ります。
LinuxBig Data
パーティション分割した Spark Parquet を書き込み、調べる
準備済みの注文を日付別の Parquet に保存し、型付き記録を復元して検索します。練習用出力で上書きと追記を比較します。
Big Data
初めての Hadoop 実験
ビッグデータの意味と Hadoop の役割を学び、準備済みの環境で小売データのテキストファイルを HDFS にアップロードし、読み戻して内容を確認します。
Big DataLinuxShell
初めての Hive クエリ
データのワークフローにおける Apache Hive の役割を学び、準備済みの小売データの表を調べます。最初の SQL ファイルを書いて、支払い済みの注文を選択し、確認します。
Big DataShell
HDFS の基本的な権限を読み取り、修正する
HDFS の所有者、グループ、権限モードを読み取り、データセットをグループで共有します。誰でも書き込める状態にせず、通常のユーザーによる実際のアクセスを確認します。
Big Data
Kafka で最初のイベントを送受信する
Kafka のイベント配信の役割を理解し、パーティションが1つのトピックを作成します。別々のターミナルでプロデューサーとコンシューマーを観察し、保持された注文イベントを再び読み取ります。
Big DataLinux
Spark の注文データを選択・絞り込み・変換する
型付きの列表現でフィールドを選び、行の条件を組み合わせ、十進数の注文金額を計算して、支払い済みと支払い待ちの結果を比較します。
Big Data
Hive クエリの結果を ORC テーブルに保存する
十進数の日次売上レポートを ORC に保存して読み戻します。練習用テーブルで、再現可能な上書きと、重複を作る追記を比較します。
Big Data
キーとパーティションで Kafka イベントを振り分ける
キー付きの注文イベントを送信して、実際のキー、パーティション、オフセットを調べます。レコード全体の順序を仮定せず、注文ごとの振り分けを観察します。
Big Data
明示的なスキーマで Spark の CSV を読む
CSV を文字列だけで読む方法、型推論、明示的な7列のスキーマを比較し、同じ型を新しく届いたファイルにも適用します。
Big Data
JSON イベントを Spark DataFrame に読み込む
静的な JSON Lines を型を明示して読み、注文イベントを選択します。ストリーミングに変えず、単純な入れ子の顧客 struct を平坦な列にします。
Big Data
- 前へ
- 1
- 2
- 次へ