常用搜索

系统日志分析

LinuxBeginner
立即练习

简介

在调查安全事件或排查 Linux 系统错误时,系统日志是获取真相的主要来源。它们记录了服务器上发生的几乎所有事情,从用户身份验证到内核消息,无所不包。

日志之所以重要,是因为大多数攻击在造成明显破坏之前都会留下痕迹。登录失败、异常的 sudo 使用、服务崩溃、配置更改以及奇怪的进程活动,通常都会最先出现在日志中。一名优秀的分析师会将日志视为解释系统经历的「时间线」,而不是背景噪音。

在本实验中,你将扮演系统管理员的角色。你将学习如何使用 grep 和 awk 等强大的命令行文本处理工具来分析标准的 Linux 系统日志。具体来说,你将解析身份验证日志以检测模拟的 SSH 暴力破解登录尝试,并追踪通过提升 sudo 权限执行的命令。

定位系统日志

在这一步中,你将熟悉 Linux 系统日志的位置和结构。

在搜索威胁之前,了解每个日志源所包含的证据类型非常有帮助。auth.log 专注于身份和权限事件;syslog 则更为广泛,汇集了来自许多服务的消息。了解每个文件的作用,可以帮助你选择正确的查看位置,而不是盲目地在所有文件中进行搜索。

通常,Linux 系统日志存储在 /var/log 目录下。对于安全分析而言,最重要的两个日志文件是:

  • auth.log:记录所有与身份验证相关的事件,例如 SSH 登录和 sudo 使用情况。
  • syslog:记录常规系统活动和应用程序消息。

由于读取实际的系统日志通常需要 root 权限,且日志文件可能非常庞大,我们在你的当前工作目录(~/project)中准备了示例 auth.log 和 syslog 文件。

首先,让我们确认这些日志文件是否存在于你的目录中。使用 ls 命令列出文件:

ls -l

你应该会看到类似以下的输出:

total 8
-rw-r--r-- 1 labex labex 584 Oct 10 10:30 auth.log
-rw-r--r-- 1 labex labex 245 Oct 10 10:30 syslog

接下来,让我们查看身份验证日志的内容。head 命令非常适合查看文件的前几行,而不会让终端屏幕被刷屏。

执行以下命令查看 auth.log 的开头部分:

head auth.log

你将看到几行文本。每一行代表一个日志条目,通常以时间戳开头,后跟主机名、生成日志的服务(如 sshd 或 sudo)以及具体的消息内容。

Oct 10 10:00:01 labex sshd[1234]: Failed password for invalid user admin from 192.168.1.100 port 33452 ssh2
Oct 10 10:05:12 labex sshd[1235]: Failed password for root from 10.0.0.5 port 44212 ssh2
...

分析 auth.log 中的登录失败记录

在这一步中,你将使用 grep 命令过滤日志文件,以识别潜在的安全威胁,例如 SSH 登录失败尝试。

登录失败并不一定意味着恶意行为,但频繁的失败是一个重要的弱信号。用户可能偶尔输错密码,但如果来自同一来源或针对多个账户的大量失败模式出现,则暗示存在猜测行为。优秀的日志分析通常始于通过分组和计数,将微弱的个体事件转化为更明显的模式。

grep 是一款强大的命令行工具,用于在文件中搜索特定的文本模式。当攻击者尝试猜测密码(暴力破解攻击)时,SSH 服务(sshd)会为每一次不成功的尝试记录一条「Failed password」消息。

让我们在 auth.log 文件中搜索所有登录失败的实例。运行以下命令:

grep "Failed password" auth.log

你的终端将仅输出包含「Failed password」这一确切短语的行:

Oct 10 10:00:01 labex sshd[1234]: Failed password for invalid user admin from 192.168.1.100 port 33452 ssh2
Oct 10 10:05:12 labex sshd[1235]: Failed password for root from 10.0.0.5 port 44212 ssh2
Oct 10 10:20:01 labex sshd[1240]: Failed password for invalid user test from 172.16.0.4 port 12345 ssh2

如果你正在分析真实的服务器,可能会有成千上万行这样的记录。为了快速统计发生了多少次失败尝试,你可以通过管道符(|)将 grep 的输出传递给 wc -l 命令。wc 代表「word count」(字数统计),而 -l 参数告诉它统计行数。

执行以下命令来统计登录失败次数:

grep "Failed password" auth.log | wc -l

你应该会在终端看到数字 3,这表明在我们的示例日志中有三次登录失败尝试。

追踪 Sudo 权限提升

在这一步中,你将学习如何追踪通过提升权限执行的命令。当用户使用 sudo 运行命令时,它会被记录在 auth.log 文件中。

首先,让我们使用 grep 查找日志中所有的 sudo 活动:

grep "sudo:" auth.log

你将看到详细的输出,显示是谁使用了 sudo 以及他们运行了什么命令:

Oct 10 10:15:22 labex sudo:    labex : TTY=pts/0 ; PWD=/home/labex/project ; USER=root ; COMMAND=/usr/bin/cat /etc/shadow
Oct 10 10:25:33 labex sudo:    labex : TTY=pts/0 ; PWD=/home/labex/project ; USER=root ; COMMAND=/usr/bin/apt update

虽然 grep 非常适合过滤行,但有时你只想从这些行中提取特定的信息,例如执行的确切命令。这时就需要用到 awk。

对于初学者来说,这是一个重要的进阶:先找到相关的行,然后提取能回答你问题的字段。安全工作通常在这两种操作之间切换。过滤缩小了证据范围,而字段提取则将证据转化为你可以总结或比较的内容。

awk 是一种通用的编程语言,专为文本处理和数据提取而设计。默认情况下,awk 会根据空格将行拆分为「字段」。不过,你可以使用 -F 参数指定自定义的分隔符。

请注意,在 sudo 日志条目中,实际执行的命令紧跟在字符串 COMMAND= 之后。我们可以告诉 awk 使用 COMMAND= 作为分隔符,然后打印拆分后的第二部分。

运行以下命令仅提取执行的命令:

grep "sudo:" auth.log | awk -F 'COMMAND=' '{print $2}'

让我们拆解一下它的工作原理:

  • grep "sudo:" auth.log 过滤出日志中的 sudo 条目。
  • | 将这些条目传递给 awk。
  • -F 'COMMAND=' 告诉 awk 使用 COMMAND= 作为分割线。
  • '{print $2}' 告诉 awk 打印分割后文本的第二部分(即 COMMAND= 之后的所有内容)。

你应该会看到一个清晰的已执行命令列表:

/usr/bin/cat /etc/shadow
/usr/bin/apt update

提取并排序 IP 地址

在最后一步中,你将结合 grep、awk 和其他命令行工具,构建一个强大的数据处理流水线。将命令串联起来是系统管理员快速从原始日志中提取有用情报的常用做法,无需编写复杂的脚本。

流水线之所以强大,是因为它们允许你逐步进行调查。一个命令选择事件,另一个提取你关心的字段,再一个对结果进行排序或计数。这种思维方式可以从快速的事件分类扩展到课程后期更复杂的自动化任务。

我们想要提取登录失败的攻击者的 IP 地址,对它们进行排序,并删除重复项。

首先,让我们看一个巧妙的 awk 技巧。在我们的登录失败日志中,无论用户名是否有效,IP 地址始终是该行倒数第 4 个单词。awk 有一个内置变量 NF(Number of Fields),代表一行中单词的总数。因此,$(NF-3) 总是指向 IP 地址!

让我们一步步构建我们的流水线:

  • grep 查找失败的尝试。
  • awk '{print $(NF-3)}' 提取 IP 地址。
  • sort 按数字顺序排列 IP 地址。
  • uniq 删除重复的 IP 地址,确保每个攻击者只被列出一次。

运行完整的流水线,并将最终输出重定向到一个名为 suspicious_ips.txt 的文件中:

grep "Failed password" auth.log | awk '{print $(NF-3)}' | sort | uniq > suspicious_ips.txt

现在,使用 cat 命令查看你刚刚创建的文件内容:

cat suspicious_ips.txt

你应该会在终端看到提取出的、唯一的 IP 地址:

10.0.0.5
172.16.0.4
192.168.1.100

总结

恭喜你!在本实验中,你已经成功学习了如何在 Linux 中进行基本的系统日志分析。

你掌握了以下技能:

  • 定位并查看标准的 Linux 系统日志。
  • 使用 grep 过滤特定安全事件的日志,例如 SSH 登录失败。
  • 利用 awk 解析日志行并提取特定字段,例如通过 sudo 执行的命令。
  • 将这些工具组合成命令行流水线,以提取并排序恶意 IP 地址。

这些文本处理技能对于在 Linux 环境中工作的任何系统管理员、DevOps 工程师或网络安全专业人员来说都是基础。