AWK によるテキスト処理の世界へようこそ。この実験では、システム管理者やデータアナリストにとって一般的なタスクである「ログファイルの分析」に awk コマンドを使用する方法を学びます。AWK は Linux において構造化されたテキストデータを処理するための強力なツールであり、情報の抽出、フィルタリング、変換を効率的に行うことができます。
あなたが新人システム管理者として、サーバーログを分析し、潜在的なセキュリティ脅威やパフォーマンスの問題を特定するタスクを任されたと想像してください。awk コマンドは、巨大なログファイルから素早く意味のある洞察を抽出するための主要なツールとなります。
まずは、サンプルログファイルの内容を確認することから始めましょう。このファイルには、この実験を通して分析するシミュレートされたサーバーアクセスログが含まれています。
最初に、プロジェクトディレクトリに移動します。
cd ~/project次に、ログファイルの最初の数行を表示してみましょう。
head -n 5 server_logs.txt以下のような出力が表示されるはずです。
2023-08-01 08:15:23 192.168.1.100 GET /index.html 200
2023-08-01 08:16:45 192.168.1.101 GET /about.html 200
2023-08-01 08:17:30 192.168.1.102 POST /login.php 302
2023-08-01 08:18:12 192.168.1.103 GET /products.html 404
2023-08-01 08:19:05 192.168.1.104 GET /services.html 200このログファイルには、日付と時刻、IP アドレス、HTTP メソッド、リクエストされたリソース、ステータスコードなど、サーバーリクエストに関する情報が含まれています。
ログファイルの構造を確認できたので、次は AWK を使って特定の情報を抽出してみましょう。デフォルトでは、AWK は各行を空白文字に基づいてフィールドに分割します。これらのフィールドは $1、$2 のように参照でき、$1 は最初のフィールド、$2 は 2 番目のフィールドを指します。
ログファイルから IP アドレス（3 番目のフィールド）を抽出してみましょう。
awk '{print $3}' server_logs.txt | head -n 5以下のような出力が表示されるはずです。
192.168.1.100
192.168.1.101
192.168.1.102
192.168.1.103
192.168.1.104このコマンドにおいて：
awk '{print $3}' は、各行の 3 番目のフィールドを出力するように AWK に指示しています。|) を使用して出力を head -n 5 に渡すことで、表示を最初の 5 行に制限しています。次に、IP アドレスとリクエストされたリソースの両方を出力してみましょう。
awk '{print $3, $5}' server_logs.txt | head -n 5出力：
192.168.1.100 /index.html
192.168.1.101 /about.html
192.168.1.102 /login.php
192.168.1.103 /products.html
192.168.1.104 /services.htmlここでは、各行の 3 番目のフィールド（IP アドレス）と 5 番目のフィールド（リクエストされたリソース）を出力しています。
AWK の強みの 1 つは、条件に基づいてデータをフィルタリングできることです。この機能を使って、ログファイル内のすべての POST リクエストを見つけてみましょう。これらは GET リクエストよりもセキュリティ上の懸念が高い可能性があるためです。
以下のコマンドを実行してください。
awk '$4 == "POST" {print $0}' server_logs.txtサンプルファイルには 5,000 件のログエントリが含まれているため、このコマンドは数百行を出力する可能性があります。学習中に扱いやすいサンプルだけを確認したい場合は、| head -n 10 を追加してください。
awk '$4 == "POST" {print $0}' server_logs.txt | head -n 10検証プロセスでは通常の awk コマンドも受け入れられるため、出力が読みやすいと感じる方を使用してください。
AWK のフィルタリングがどのように機能するかを理解するために、このコマンドの構文を分解してみましょう。
$4 == "POST" - これは AWK が各行に対して評価するパターンまたは条件です。
$4 は現在の行の 4 番目のフィールドを指します（このログファイルでは HTTP メソッドです）。== は 2 つの値が等しいかどうかをチェックする等価演算子です。"POST" は比較対象の文字列です。{print $0} - これは条件が真の場合に AWK が実行するアクションです。
{} はアクションを囲みます。print はテキストを出力するコマンドです。$0 は現在の行全体（すべてのフィールド）を表します。コマンド構造は AWK のパターンである 条件 {アクション} に従います。AWK は各行を読み込み、条件が真と評価されればアクションを実行します。条件が指定されていない場合（前述の例のように）、アクションはすべての行に対して実行されます。
以下のような出力が表示されるはずです。
2023-08-01 08:17:30 192.168.1.102 POST /login.php 302
2023-08-01 09:23:45 192.168.1.110 POST /submit_form.php 200
2023-08-01 10:45:12 192.168.1.115 POST /upload.php 500次に、ステータスコードが 404（Not Found）となったすべてのリクエストを見つけてみましょう。
awk '$6 == "404" {print $1, $2, $5}' server_logs.txtこのコマンドも同じパターンに従っていますが、値が異なります。
$6 == "404" は、6 番目のフィールド（ステータスコード）が 404 と等しいかをチェックします。{print $1, $2, $5} は特定のフィールドのみを出力します。
$1 - 最初のフィールド（日付）$2 - 2 番目のフィールド（時刻）$5 - 5 番目のフィールド（リクエストされたリソース）このように選択的に出力することで、必要な情報だけに集中できます。
出力：
2023-08-01 08:18:12 /products.html
2023-08-01 09:30:18 /nonexistent.html
2023-08-01 11:05:30 /missing_page.html論理演算子を使用して複数の条件を組み合わせることもできます。
&& は AND（両方の条件が真である必要がある）|| は OR（少なくとも 1 つの条件が真である必要がある）! は NOT（条件を否定する）例えば、エラー（ステータスコードが 400 以上）が発生したすべての POST リクエストを見つけるには：
awk '$4 == "POST" && $6 >= 400 {print $0}' server_logs.txtこれらのフィルタを使用することで、サーバーログ内の潜在的な問題や疑わしいアクティビティを素早く特定できます。
AWK は、出現回数のカウントやデータの要約に非常に優れています。これを使って、各 HTTP ステータスコードのリクエスト数をカウントしてみましょう。
以下のコマンドを実行してください。
awk '{count[$6]++} END {for (code in count) print code, count[code]}' server_logs.txt | sort -nこのコマンドは少し複雑ですので、ステップごとに分解します。
{count[$6]++} - 各行に対して実行されるメインのアクションです。
count は作成している配列（連想配列または辞書）です。[$6] は 6 番目のフィールド（ステータスコード）の値を配列のインデックス/キーとして使用します。++ はインクリメント演算子で、現在の値に 1 を加算します。END {for (code in count) print code, count[code]} - すべての行を処理した後に実行されます。
END は入力の終了に一致する特別なパターンです。{...} はすべての入力が処理された後に実行するアクションを含みます。for (code in count) は count 配列内のすべてのキーを反復処理するループです。print code, count[code] は各ステータスコードとそのカウントを出力します。| sort -n - 出力を sort コマンドにパイプし、数値順に並べ替えます。
AWK が count[$6]++ のような配列を処理する際、自動的に以下の動作を行います。
以下のような出力が表示されるはずです。
200 3562
301 45
302 78
304 112
400 23
403 8
404 89
500 15この要約により、ログファイル内のステータスコードの分布がすぐにわかります。
次に、最も頻繁にアクセスされたリソースの上位 5 つを見つけてみましょう。
awk '{count[$5]++} END {for (resource in count) print count[resource], resource}' server_logs.txt | sort -rn | head -n 5このコマンドは、いくつかの変更を加えた同様のパターンに従っています。
{count[$5]++} - 5 番目のフィールド（リクエストされたリソース）の出現回数をカウントします。END {for (resource in count) print count[resource], resource} - すべての行を処理した後：
| sort -rn - 数値の逆順（カウントが多い順）にソートします。| head -n 5 - 出力を最初の 5 行（上位 5 件）に制限します。出力：
1823 /index.html
956 /about.html
743 /products.html
512 /services.html
298 /contact.htmlこれらの AWK コマンドは、カウントや要約のために配列を使用する強力さを示しています。このパターンを応用して、データ内の任意のフィールドやフィールドの組み合わせをカウントできます。
例えば、IP アドレスごとのリクエスト数をカウントするには：
awk '{count[$3]++} END {for (ip in count) print ip, count[ip]}' server_logs.txtメソッドとステータスの両方でリクエストをカウントするには：
awk '{key=$4"-"$6; count[key]++} END {for (k in count) print k, count[k]}' server_logs.txtこれらの要約は、トラフィックパターンを理解し、サーバー上の人気のある（または問題のある）リソースを特定するのに役立ちます。
最後のタスクとして、ログファイルから重要な情報を要約したシンプルな HTML レポートを作成しましょう。この複雑な操作のために、別のファイルに保存された AWK スクリプトを使用します。
このステップでは、これまでのセクションで学んだいくつかの AWK のアイデアを組み合わせます。
total++ のようなカウンターip_count[$3]++ のような配列END ブロックスクリプトが長く見えるかもしれませんが、一度に 1 つのブロックに集中してください。実行する前にファイル全体を暗記する必要はありません。
まず、以下の内容で log_report.awk という名前のファイルを作成します。
ヒント：以下の内容をコピーしてターミナルに貼り付け、ファイルを作成してください。
cat << 'EOF' > log_report.awk
BEGIN {
print "<html><body>"
print "<h1>Server Log Summary</h1>"
total = 0
errors = 0
}
{
total++
if ($6 >= 400) errors++
ip_count[$3]++
resource_count[$5]++
}
END {
print "<p>Total requests: " total "</p>"
print "<p>Error rate: " (errors/total) * 100 "%</p>"
print "<h2>Top 5 IP Addresses</h2>"
print "<ul>"
for (ip in ip_count) {
top_ips[ip] = ip_count[ip]
}
n = asort(top_ips, sorted_ips, "@val_num_desc")
for (i = 1; i <= 5 && i <= n; i++) {
for (ip in ip_count) {
if (ip_count[ip] == sorted_ips[i]) {
print "<li>" ip ": " ip_count[ip] " requests</li>"
break
}
}
}
print "</ul>"
print "<h2>Top 5 Requested Resources</h2>"
print "<ul>"
for (resource in resource_count) {
top_resources[resource] = resource_count[resource]
}
n = asort(top_resources, sorted_resources, "@val_num_desc")
for (i = 1; i <= 5 && i <= n; i++) {
for (resource in resource_count) {
if (resource_count[resource] == sorted_resources[i]) {
print "<li>" resource ": " resource_count[resource] " requests</li>"
break
}
}
}
print "</ul>"
print "</body></html>"
}
EOFこの AWK スクリプトをセクションごとに理解しましょう。
BEGIN ブロック: 入力行を処理する前に実行されます。
BEGIN {
print "<html><body>" ## HTML 構造の開始
print "<h1>Server Log Summary</h1>"
total = 0 ## 合計リクエスト数のカウンターを初期化
errors = 0 ## エラーリクエスト数のカウンターを初期化
}メイン処理ブロック: 入力ファイルの各行に対して実行されます。
{
total++ ## 合計リクエストカウンターをインクリメント
if ($6 >= 400) errors++ ## エラーレスポンスをカウント（ステータスコード 400 以上）
ip_count[$3]++ ## IP アドレスごとのリクエストをカウント（フィールド 3）
resource_count[$5]++ ## リソースごとのリクエストをカウント（フィールド 5）
}END ブロック: すべての入力行を処理した後に実行されます。
END {
## 要約統計を出力
print "<p>Total requests: " total "</p>"
print "<p>Error rate: " (errors/total) * 100 "%</p>"
## 上位5つのIPアドレスを処理して出力
## ...
## 上位5つのリクエストリソースを処理して出力
## ...
print "</body></html>" ## HTML構造の終了
}次に進む前に、全体的な流れを確認してください。
BEGIN が HTML の開始タグを出力し、カウンターを初期化します。END がすべての行を分析した後、最終レポートを出力します。上位 IP のソートロジックを確認しましょう（リソースセクションも同様に機能します）。
## ソートのためにカウントを新しい配列にコピー
for (ip in ip_count) {
top_ips[ip] = ip_count[ip]
}
## 値に基づいて降順で配列をソート
n = asort(top_ips, sorted_ips, "@val_num_desc")
## 上位5つのエントリを出力
for (i = 1; i <= 5 && i <= n; i++) {
## このカウントに一致する元のIPを見つける
for (ip in ip_count) {
if (ip_count[ip] == sorted_ips[i]) {
print "<li>" ip ": " ip_count[ip] " requests</li>"
break
}
}
}このスクリプトでは：
asort() 関数が配列をソートします。"@val_num_desc" は、値を数値として降順でソートするように指示する特別な引数です。ネストされたループは次のように考えることができます。
この検索パターンはこれまでのステップよりも高度なため、ここが実験の中で初めて「スクリプトを書いている」と感じる部分であっても正常です。
それでは、AWK スクリプトを実行してレポートを生成しましょう。
awk -f log_report.awk server_logs.txt > log_report.html-f オプションは、指定されたファイルからスクリプトを読み込むように AWK に指示します。
-f log_report.awk - log_report.awk ファイルから AWK スクリプトを読み込みます。server_logs.txt - このファイルをスクリプトを使用して処理します。> log_report.html - 出力を log_report.html ファイルにリダイレクトします。cat コマンドを使用してレポートの内容を確認できます。
cat log_report.htmlHTML 出力がターミナルで確認しにくい場合は、最初の部分だけをプレビューしてください。
head -n 15 log_report.htmlこのレポートは、合計リクエスト数、エラー率、上位 5 つの IP アドレス、上位 5 つのリクエストリソースの要約を提供します。実際のシナリオでは、この HTML ファイルを Web ブラウザで開いて整形されたビューを確認できます。
このスクリプトで使用したアプローチは、AWK がより複雑なデータ分析タスクにどのように使用できるかを示しています。このスクリプトを拡張して、特定のニーズに基づいて追加の統計や異なる視覚化を含めることができます。
おめでとうございます！ログ分析のための AWK コマンドに関するこの実験を完了しました。学んだことを振り返りましょう。
これらのスキルは、システム管理者やデータアナリストとしての将来の仕事において、ログファイルの分析、データの処理、レポートの生成に非常に役立ちます。
この実験では扱わなかった、その他の AWK のパラメータや機能もいくつかあります。
-F: 空白以外のフィールド区切り文字を指定する。-v: 変数に値を代入する。NR: 現在のレコード番号を表す組み込み変数。NF: 現在のレコード内のフィールド数を表す組み込み変数。BEGIN および END ブロック：初期化と終了処理のための特別なパターン。AWK を習得するには練習が鍵です。この実験のコマンドやスクリプトを修正して、ログファイルの異なる側面を分析したり、他の種類の構造化テキストデータを処理したりしてみてください。
