使用 LogQL 查询日志

LinuxBeginner
立即练习

简介

想象一下:你要在一座藏有 1,000 万本书的图书馆中寻找某个特定句子。你不可能一本接一本地阅读。此时,你需要一个搜索引擎。

对于日志来说,这个搜索引擎就是 LogQL(Log Query Language,日志查询语言)。

LogQL 在日志领域发挥的作用,类似于 PromQL 在指标领域发挥的作用:它提供了一种结构化方式,可以从大量运行数据中选择、筛选和转换信息,得到聚焦的结果。

在本实验中,你将使用 LogQL 搜索和筛选集中式日志。在可观测性场景中,查询语言非常重要,因为数据量增长后,有效排查问题依赖精确选择,而不是手动阅读。

  • 选择「书架」(按标签选择日志)。
  • 扫描关键词(筛选包含「ERROR」等特定词的日志)。
  • 执行高级搜索(使用「正则表达式」匹配复杂模式)。

访问 Grafana Explore

在这一步中,你将打开 Grafana Explore 中的 Loki 数据源。实验会启动 Loki、Promtail 和写入示例日志的生成器。

等待 Loki 就绪

在虚拟机终端运行:

curl -fsS http://localhost:3100/ready

等到返回 ready。如果 Loki 仍在启动,等几秒再试。

打开 Explore

切换到 Desktop 标签页,在虚拟机内打开 Firefox 并访问 http://localhost:8080。实验使用 Grafana 9.2.10。用户名和密码均为 admin,如提示修改密码则选择 Skip。

点击左侧边栏的指南针图标打开 Explore。如果上方尚未选中 Loki,请选择它。

选择日志流

在这一步中,你将使用标签选中示例日志流。标签选择器告诉 Loki 应搜索哪些日志流。

运行标签选择器

在 Explore 中切换到 Code 并输入:

{job="syslog"}

花括号括住标签选择器。该选择器查找 job 标签等于 syslog 的日志流。在编辑器中按 Shift + Enter 运行查询。结果应包含带时间戳的 INFO、WARN 和 ERROR 消息。如果日志生成器刚启动,稍等片刻再运行查询。

Grafana 9.2.10 Explore 中的 syslog 选择器及结果

保存查询以便验证

在虚拟机终端保存同一个查询。验证会读取文件并在 Loki 中运行查询。

echo '{job="syslog"}' > ~/project/q1.txt

筛选日志

在这一步中,你将把选中的日志流筛选为包含 ERROR 的消息。

在 Code 模式中用下面的查询替换原有内容:

{job="syslog"} |= "ERROR"

|= 运算符保留包含其右侧文本的日志行,!= 则排除这些行。在编辑器中按 Shift + Enter 运行查询,确认显示的日志行都包含 ERROR。

在虚拟机终端保存查询:

echo '{job="syslog"} |= "ERROR"' > ~/project/q2.txt

使用正则表达式搜索

在这一步中,你将用正则表达式保留包含 ERROR 或 WARN 的日志行。

在 Code 模式中输入:

{job="syslog"} |~ "ERROR|WARN"

|~ 用正则表达式匹配日志行。在 "ERROR|WARN" 中,单个竖线表示“或”。在编辑器中按 Shift + Enter 运行查询,查看两类消息。

Grafana 9.2.10 Explore 中正则筛选返回的 ERROR 和 WARN 消息

在虚拟机终端保存查询:

echo '{job="syslog"} |~ "ERROR|WARN"' > ~/project/q3.txt

总结

在本实验中,你学习了如何使用 LogQL 搜索日志库。

你学习了日志搜索的三个基本步骤:

  1. 选择({...}):选择要查看的书架,例如 job="syslog"。
  2. 筛选(|=):在这些日志中查找简单关键词,例如 "ERROR"。
  3. 正则表达式(|~):查找复杂模式,例如「A 或 B」("ERROR|WARN")。

LogQL 功能强大。在下一个实验中,我们将进一步对这些日志执行计算并创建图表,例如将「每分钟错误数」可视化!