Hadoop の不思議の国でのアップディティウム探索

はじめに

不思議な性質を持つキノコが生える空想的な不思議の国で、勇敢な採集者であるマイカは、手に入れにくいアップディティウムキノコを採取するための探求に出ます。これらの珍しいキノコは、Hadoopエコシステム内のデータを更新するという並外れた力を持ち、すべてのデータ愛好家に羨まれる技術を備えています。

マイカの使命は、魔法の森の入り組んだ道を辿り、謎や障害を克服して、アップディティウムキノコを見つけて採取することです。成功した採取ごとに、彼女はHadoopエコシステムの強力なコンポーネントであるHiveでデータを更新する秘密を解き明かし、最終的にデータ操作の達人になります。

Skills Graph

環境設定

このステップでは、魔法のキノコ狩りの冒険のための環境を設定します。見つけたキノコに関するデータを格納するための新しいHiveテーブルを作成します。

まず、ターミナルで次のコマンドを実行して、hadoop ユーザーとしてログインしていることを確認します。

su - hadoop

次に、Hive CLIを起動します。

hive

次に、wonderland という新しいデータベースを作成します。

CREATE DATABASE wonderland;

データベースが作成されたら、それを使用して mushrooms という新しいテーブルを作成します。

USE wonderland;

CREATE TABLE mushrooms (
    id INT,
    name STRING,
    type STRING,
    location STRING
)
CLUSTERED BY (id) INTO 2 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

このテーブルは、不思議の国で見つけた各キノコのID、名前、種類、場所を格納します。このテーブルは、テーブルを トランザクショナル と宣言し、ORC 形式で保存することで UPDATE 操作をサポートできます。

アップディティウムキノコの採取

このステップでは、アップディティウムキノコを採取し、そのデータを先ほど作成した mushrooms テーブルに挿入します。

まず、mushrooms テーブルにサンプルデータを挿入しましょう。

INSERT INTO mushrooms VALUES
(1, 'Chanterelle', 'Edible', 'Forest'),
(2, 'Portobello', 'Edible', 'Field'),
(3, 'Amanita muscaria', 'Toxic', 'Forest'),
(4, 'Shiitake', 'Edible', 'Farm'),
(5, 'Oyster', 'Edible', 'Forest');

次に、特定のキノコの type 列を更新します。ID が 3 のキノコが実際はアップディティウムキノコであることが判明したとしましょう。

UPDATE mushrooms SET type = 'Updatium' WHERE id = 3;

このコマンドは、id が 3 の行の type 列を 'Updatium' に更新します。

テーブルを照会することで更新を確認できます。

SELECT * FROM mushrooms WHERE id = 3;

複数行の更新

このステップでは、すべてのアップディティウムキノコの location 列を更新して、それらが採取されたことを示します。

まず、テーブルにどれだけのアップディティウムキノコがあるか確認しましょう。

SELECT COUNT(*) FROM mushrooms WHERE type = 'Updatium';

次に、すべてのアップディティウムキノコの location 列を更新します。

UPDATE mushrooms SET location = 'Harvested' WHERE type = 'Updatium';

このコマンドは、type が 'Updatium' であるすべての行の location 列を 'Harvested' に更新します。

再度テーブルを照会することで更新を確認できます。

SELECT * FROM mushrooms WHERE type = 'Updatium';

まとめ

この実験では、Hadoopエコシステムの強力なコンポーネントであるHiveでデータを更新する方法を学びながら、不思議の国を舞台にした魔法の冒険に挑みました。見つけたキノコに関するデータを格納するための新しいデータベースとテーブルを作成し、サンプルデータを読み込み、UPDATE 文を使って単一行と複数行の更新を練習しました。

この実践的な経験を通じて、私たちはデータの更新技術を習得するだけでなく、HadoopとHiveの世界に関する貴重な洞察も得ました。この実験を完了することで、私たちはアップディティウムキノコの秘密を解き明かし、データ操作に精通し、Hadoopエコシステムの理解を深めることができました。