LFCS チュートリアル

ビッグデータの意味と Hadoop の役割を学び、準備済みの環境で小売データのテキストファイルを HDFS にアップロードし、読み戻して内容を確認します。

Hadoop の構成要素の関係を学び、設定されたファイルシステムを調べ、ローカルと HDFS のパスを比較して、稼働中の HDFS サービスとストレージノードの情報を読み取ります。

商品数を予想し、小さな学習用ツールで Map・Shuffle・Reduce を確認します。同じ WordCount アルゴリズムを、準備済みの Hadoop サンプル JAR でローカル実行します。

既習の商品 WordCount を HDFS 入力に対して実際の YARN で実行します。アプリケーションの状態とログを調べ、出力を照合して安全に再実行します。

動作中の2つのコンシューマーによるパーティション分担、同じイベントを読む独立したグループ、メンバー離脱後の割り当ての引き継ぎを観察します。

小売データの元の入力を保護しながら、HDFS ファイルのコピー、アーカイブ、エクスポート、サイズ確認、一時ファイルの削除を練習します。各操作がどのファイルシステムを変更するかを学びます。

小売データのテキストファイルを日別の HDFS バッチに整理し、保存されたバイト列とデータの意味を区別します。別の日付や過去の結果を除外した正確な入力一覧を作成します。

Kafka のイベント配信の役割を理解し、パーティションが1つのトピックを作成します。別々のターミナルでプロデューサーとコンシューマーを観察し、保持された注文イベントを再び読み取ります。

単純な小売 CSV を Hive 外部テーブルに対応付け、列とヘッダー処理を確認して、参照先を変更します。練習用の外部テーブルを削除したときに、データが保持されることも観察します。

遥かな銀河で、ザイロシアン帝国は、すべての住人がいる惑星を征服し同化するための侵略的な作戦を展開しています。銀河防衛艦隊の司令官として、あなたの任務は、資源の展開を調整し、複数の星系にわたる防衛ノードを管理することです。しかし、巧妙な敵であるザイロシアン支配者は、あなたの司令部の作戦を混乱させ、あなたの防衛活動を無効にする高度な技術を開発しました。

遠い銀河にあるアンドロメダ宇宙ステーションは、銀河間探索と研究の拠点として機能しています。熟練した宇宙船パイロットとして、あなたの任務は広大な宇宙を航行し、さまざまな天体からデータを収集し分析することです。ただし、あなたの旅は問題なくは進みません。Hadoop で動作する宇宙船の搭載コンピュータ システムは、Yarn Commands log を使って効率的にリソースを管理および監視する技術をマスターする必要があります。

未来派のロボット工場では、最先端技術が精密工学と出会います。あなたはロボット保守技術者の役割を担っています。主な目標は、工場の複雑なネットワーク内でコンピューティング リソースを効率的に割り当て、管理することです。このネットワークはロボットの認知機能をサポートし、パラレルな精度と速度で複雑なタスクを実行できるようにします。

田園詩的な沈没宝湾の住民たちは、何世紀も前に彼らの海岸近くで沈没した伝説の海賊船の物語に長い間魅了されてきました。地元の伝承によると、船の荷室にはまだ発見されていない価値のある宝が埋められていました。ある日、好奇心旺盛な住民であるジャックは、彼を沈没した富に導くと約束する古代地図を偶然見つけます。失われた宝を発見する見通しに勇気付けられたジャックは、深淵の謎を解き明かし、伝説の報酬を手に入れる決意で、刺激的な冒険に乗り出します。

純粋な知識の流れのように情報が流れる空想的な土地であるデートピアに、好奇心旺盛な存在であるデーティナが住んでいました。デーティナの唯一の目的は、データの世界の複雑な仕組みを理解し、その可能性を引き出すことでした。ある日、デーティナは膨大な量のデータを処理することができる強力なツールであるハドープと呼ばれる神秘的な力に出会いました。しかし、その機能を最大限に引き出すには、デーティナは Yarn コマンドを実行し、jar ファイルを操作する技術を習得する必要がありました。

あなたが海洋考古学者で、「沈没宝湾」の深さを探検しているシナリオを想像してみてください。この神秘的な湾には、古代文明の秘密や、その宝や波の下に失われた遺物が眠っていると噂されています。

データゴニアの神秘的な世界で、勇敢なデータナイトであるライオンハートが壮大な探求に出ました

この実験では、広大なアラビア砂漠の黄金砂に秘められた秘密を解き明かし、Hadoop ストレージ ポリシーをマスターする方法を学びます。賢い魔法使いがあなたにこれらのポリシーの力を利用するよう挑戦し、Hadoop でのデータ ストレージの効率的な管理を可能にする旅に出ます。さまざまな階層でデータを保存および取得し、パフォーマンスと費用対効果を最適化するための貴重なスキルを身につけましょう。

銀河全体からの商人や旅行者が商品とサービスを交換するために集まる賑やかな拠点、銀河間貿易駅へようこそ