Linux awk 命令：文本处理

简介

欢迎来到使用 AWK 进行文本处理的世界。在本实验中，你将学习如何使用 awk 命令来分析日志文件，这是系统管理员和数据分析师常见的任务。AWK 是 Linux 中处理结构化文本数据的强大工具，能够高效地提取、过滤和转换信息。

假设你是一名初级系统管理员，负责分析服务器日志以识别潜在的安全威胁和性能问题。awk 命令将成为你完成此任务的主要工具，帮助你快速筛选大型日志文件并提取有意义的见解。

Skills Graph

检查日志文件

让我们从检查示例日志文件的内容开始。该文件包含模拟的服务器访问日志，我们将在本实验中对其进行分析。

首先，导航到项目目录：

cd ~/project

现在，查看日志文件的前几行：

head -n 5 server_logs.txt

你应该会看到类似以下的输出：

2023-08-01 08:15:23 192.168.1.100 GET /index.html 200
2023-08-01 08:16:45 192.168.1.101 GET /about.html 200
2023-08-01 08:17:30 192.168.1.102 POST /login.php 302
2023-08-01 08:18:12 192.168.1.103 GET /products.html 404
2023-08-01 08:19:05 192.168.1.104 GET /services.html 200

该日志文件包含有关服务器请求的信息，包括日期和时间、IP 地址、HTTP 方法、请求的资源以及状态码。

基本 AWK 用法 - 打印特定字段

现在我们已经了解了日志文件的结构，接下来让我们使用 AWK 提取特定信息。默认情况下，AWK 会根据空格将每一行拆分为多个字段。我们可以使用 $1、$2 等来引用这些字段，其中 $1 是第一个字段，$2 是第二个字段，依此类推。

让我们从日志文件中提取 IP 地址（第三个字段）：

awk '{print $3}' server_logs.txt | head -n 5

你应该会看到类似以下的输出：

192.168.1.100
192.168.1.101
192.168.1.102
192.168.1.103
192.168.1.104

在这个命令中：

• awk '{print $3}' 告诉 AWK 打印每一行的第三个字段。
• 我们将输出通过管道 (|) 传递给 head -n 5，以限制显示前 5 行。

现在，让我们同时打印 IP 地址和请求的资源：

awk '{print $3, $5}' server_logs.txt | head -n 5

输出：

192.168.1.100 /index.html
192.168.1.101 /about.html
192.168.1.102 /login.php
192.168.1.103 /products.html
192.168.1.104 /services.html

在这里，我们打印了每一行的第三个字段（IP 地址）和第五个字段（请求的资源）。

过滤日志条目

AWK 的优势之一是它能够根据条件过滤数据。让我们利用这个特性在日志文件中查找所有 POST 请求，因为这些请求可能比 GET 请求更具安全敏感性。

运行以下命令：

awk '$4 == "POST" {print $0}' server_logs.txt

让我们分解这个命令的语法，以了解 AWK 过滤是如何工作的：

1. $4 == "POST" —— 这是 AWK 对每行进行评估的模式或条件：

   • $4 指的是当前行的第四个字段（在我们的日志文件中，这是 HTTP 方法）
   • == 是用于检查两个值是否相等的相等运算符
   • "POST" 是我们要比较的字符串

2. {print $0} —— 这是当条件为真时 AWK 执行的操作：

   • 花括号 {} 包含操作
   • print 是用于输出文本的命令
   • $0 表示整个当前行（所有字段）

该命令结构遵循 AWK 模式：条件 {操作}。AWK 逐行读取，如果条件评估为真，则执行操作。如果未指定条件（如我们之前的示例），则对每行都执行操作。

你应该会看到类似以下的输出：

2023-08-01 08:17:30 192.168.1.102 POST /login.php 302
2023-08-01 09:23:45 192.168.1.110 POST /submit_form.php 200
2023-08-01 10:45:12 192.168.1.115 POST /upload.php 500

现在，让我们查找所有返回 404（未找到）状态的请求：

awk '$6 == "404" {print $1, $2, $5}' server_logs.txt

此命令遵循相同的模式，但使用了不同的值：

• 条件 $6 == "404" 检查第六个字段（状态码）是否等于 404
• 操作 {print $1, $2, $5} 仅打印特定字段：
  • $1 —— 第一个字段（日期）
  • $2 —— 第二个字段（时间）
  • $5 —— 第五个字段（请求的资源）

这种选择性打印使你能够专注于所需的信息。

输出：

2023-08-01 08:18:12 /products.html
2023-08-01 09:30:18 /nonexistent.html
2023-08-01 11:05:30 /missing_page.html

你可以使用逻辑运算符组合多个条件：

• && 表示 AND（两个条件都必须为真）
• || 表示 OR（至少一个条件必须为真）
• ! 表示 NOT（对条件取反）

例如，要查找所有返回错误（状态码 >= 400）的 POST 请求：

awk '$4 == "POST" && $6 >= 400 {print $0}' server_logs.txt

这些过滤器可以帮助你快速识别服务器日志中的潜在问题或可疑活动。

数据计数与汇总

AWK 非常适合对数据出现的次数进行计数和汇总。让我们用它来统计每个 HTTP 状态码的请求数量。

运行以下命令：

awk '{count[$6]++} END {for (code in count) print code, count[code]}' server_logs.txt | sort -n

这个命令比较复杂，让我们逐步拆解它：

1. {count[$6]++} - 这是对每行执行的主要操作：

   • count 是我们创建的一个数组（关联数组或字典）。
   • [$6] 使用第 6 个字段（状态码）的值作为数组的索引/键。
   • ++ 是自增运算符，将当前值加 1。
   • 因此，对于每行，我们会将找到的特定状态码的计数器加 1。

2. END {for (code in count) print code, count[code]} - 这在处理完所有行后执行：

   • END 是一个特殊模式，匹配输入的结尾。
   • {...} 包含处理完所有输入后要执行的操作。
   • for (code in count) 是一个循环，遍历 count 数组中的所有键。
   • print code, count[code] 打印每个状态码及其计数。

3. | sort -n - 将输出通过管道传递给 sort 命令，该命令按数字顺序排序。

当 AWK 处理像 count[$6]++ 这样的数组时，它会自动执行以下操作：

• 如果数组不存在，则创建该数组。
• 如果键不存在，则创建一个值为 0 的新元素。
• 然后将该值加 1。

你应该会看到类似以下的输出：

200 3562
301 45
302 78
304 112
400 23
403 8
404 89
500 15

这个汇总信息能让你快速了解日志文件中状态码的分布情况。

现在，让我们找出访问频率最高的前 5 个资源：

awk '{count[$5]++} END {for (resource in count) print count[resource], resource}' server_logs.txt | sort -rn | head -n 5

这个命令遵循类似的模式，但有一些变化：

1. {count[$5]++} - 统计第 5 个字段（请求的资源）出现的次数。
2. END {for (resource in count) print count[resource], resource} - 处理完所有行后：
   • 先打印计数，然后打印资源。
   • 这种顺序的改变便于按计数进行数字排序。
3. | sort -rn - 按数字逆序排序（计数最高的排在前面）。
4. | head -n 5 - 将输出限制为前 5 行（前 5 个结果）。

输出：

1823 /index.html
956 /about.html
743 /products.html
512 /services.html
298 /contact.html

这些 AWK 命令展示了使用数组进行计数和汇总的强大功能。你可以调整这种模式，对数据中的任何字段或字段组合进行计数。

例如，统计每个 IP 地址的请求数量：

awk '{count[$3]++} END {for (ip in count) print ip, count[ip]}' server_logs.txt

按方法和状态统计请求数量：

awk '{key=$4"-"$6; count[key]++} END {for (k in count) print k, count[k]}' server_logs.txt

这些汇总信息可以帮助你了解流量模式，并识别服务器上受欢迎（或有问题）的资源。

创建简单报告

在最后一项任务中，我们来创建一个简单的 HTML 报告，总结日志文件中的一些关键信息。对于这个更复杂的操作，我们将使用一个单独文件中存储的 AWK 脚本。

首先，创建一个名为 log_report.awk 的文件，内容如下：

提示：复制下面的内容并粘贴到你的终端中以创建该文件。

cat << 'EOF' > log_report.awk
BEGIN {
    print "<html><body>"
    print "<h1>Server Log Summary</h1>"
    total = 0
    errors = 0
}

{
    total++
    if ($6 >= 400) errors++
    ip_count[$3]++
    resource_count[$5]++
}

END {
    print "<p>Total requests: " total "</p>"
    print "<p>Error rate: " (errors/total) * 100 "%</p>"
    
    print "<h2>Top 5 IP Addresses</h2>"
    print "<ul>"
    for (ip in ip_count) {
        top_ips[ip] = ip_count[ip]
    }
    n = asort(top_ips, sorted_ips, "@val_num_desc")
    for (i = 1; i <= 5 && i <= n; i++) {
        for (ip in ip_count) {
            if (ip_count[ip] == sorted_ips[i]) {
                print "<li>" ip ": " ip_count[ip] " requests</li>"
                break
            }
        }
    }
    print "</ul>"
    
    print "<h2>Top 5 Requested Resources</h2>"
    print "<ul>"
    for (resource in resource_count) {
        top_resources[resource] = resource_count[resource]
    }
    n = asort(top_resources, sorted_resources, "@val_num_desc")
    for (i = 1; i <= 5 && i <= n; i++) {
        for (resource in resource_count) {
            if (resource_count[resource] == sorted_resources[i]) {
                print "<li>" resource ": " resource_count[resource] " requests</li>"
                break
            }
        }
    }
    print "</ul>"
    
    print "</body></html>"
}
EOF

让我们逐节理解这个 AWK 脚本：

1. BEGIN 块：在处理任何输入行之前执行

   BEGIN {
       print "<html><body>"  ## 开始 HTML 结构
       print "<h1>Server Log Summary</h1>"
       total = 0  ## 初始化总请求计数器
       errors = 0  ## 初始化错误请求计数器
   }

2. 主处理块：对输入文件的每一行执行

   {
       total++  ## 增加总请求计数器
       if ($6 >= 400) errors++  ## 统计错误响应（状态码 >= 400）
       ip_count[$3]++  ## 按 IP 地址（第 3 个字段）统计请求数
       resource_count[$5]++  ## 按资源（第 5 个字段）统计请求数
   }

3. END 块：在处理完所有输入行之后执行

   END {
       ## 打印汇总统计信息
       print "<p>Total requests: " total "</p>"
       print "<p>Error rate: " (errors/total) * 100 "%</p>"
   
       ## 处理并打印前 5 个 IP 地址
       #...
   
       ## 处理并打印前 5 个请求的资源
       #...
   
       print "</body></html>"  ## 结束 HTML 结构
   }

让我们来分析一下前 5 个 IP 地址的排序逻辑（资源部分的工作方式相同）：

## 将计数复制到一个新数组中进行排序
for (ip in ip_count) {
    top_ips[ip] = ip_count[ip]
}

## 按值降序对数组进行排序
n = asort(top_ips, sorted_ips, "@val_num_desc")

## 打印前 5 个条目
for (i = 1; i <= 5 && i <= n; i++) {
    ## 找到与该计数匹配的原始 IP
    for (ip in ip_count) {
        if (ip_count[ip] == sorted_ips[i]) {
            print "<li>" ip ": " ip_count[ip] " requests</li>"
            break
        }
    }
}

在这个脚本中：

• asort() 函数用于对数组进行排序
• "@val_num_desc" 是一个特殊参数，用于告诉函数按值进行数值降序排序
• 嵌套循环用于查找并打印前 5 个条目

现在，让我们运行 AWK 脚本来生成报告：

awk -f log_report.awk server_logs.txt > log_report.html

-f 选项告诉 AWK 从指定文件中读取脚本：

• -f log_report.awk - 从文件 log_report.awk 中读取 AWK 脚本
• server_logs.txt - 使用该脚本处理此文件
• > log_report.html - 将输出重定向到文件 log_report.html

你可以使用 cat 命令查看报告的内容：

cat log_report.html

这份报告提供了总请求数、错误率、前 5 个 IP 地址和前 5 个请求资源的摘要。在实际场景中，你可以在 Web 浏览器中打开这个 HTML 文件以获得格式化的视图。

我们在这个脚本中使用的方法展示了如何使用 AWK 进行更复杂的数据分析任务。你可以根据具体需求扩展这个脚本，以包含更多统计信息或不同的可视化效果。

总结

恭喜！你已经完成了这个关于使用 AWK 命令进行日志分析的实验。让我们回顾一下你所学到的内容：

1. 基本 AWK 用法：从结构化文本文件中打印特定字段。
2. 数据过滤：在 AWK 中使用条件选择特定的日志条目。
3. 计数与汇总：使用 AWK 从日志数据生成统计信息。
4. 创建报告：编写更复杂的 AWK 脚本来生成格式化报告。

这些技能对于分析日志文件、处理数据以及生成报告在你未来作为系统管理员或数据分析师的工作中将非常宝贵。

以下是一些我们在本实验中没有涵盖的 AWK 参数和功能：

• -F：指定非空格的字段分隔符。
• -v：为变量赋值。
• NR：表示当前记录号的内置变量。
• NF：表示当前记录中字段数量的内置变量。
• BEGIN 和 END 块：用于初始化和最终化的特殊模式。
• 内置函数：数学函数、字符串函数等。

请记住，练习是掌握 AWK 的关键。尝试修改本实验中的命令和脚本，以分析日志文件的不同方面或处理其他类型的结构化文本数据。

资源

• Linux Roadmap - roadmap.sh