Запросы к журналам с помощью LogQL

LinuxBeginner
Практиковаться сейчас

Введение

Представьте, что вам нужно найти конкретное предложение в библиотеке с 10 миллионами книг. Вы не можете читать каждую книгу по очереди. Вам нужна поисковая система.

Для журналов такой поисковой системой служит LogQL (язык запросов к журналам).

LogQL выполняет для журналов примерно ту же роль, что PromQL для метрик: он предоставляет структурированный способ выбирать, фильтровать и преобразовывать большие объёмы эксплуатационных данных, чтобы получать точные ответы.

В этой лабораторной работе вы с помощью LogQL будете искать и фильтровать централизованные журналы. Языки запросов важны для наблюдаемости: когда объём данных растёт, эффективное устранение неполадок зависит от точного выбора данных, а не от их ручного просмотра.

  • Выберите «книжную полку» — выберите журналы по метке.
  • Найдите ключевые слова — отфильтруйте конкретные слова, например ERROR.
  • Выполните расширенный поиск — используйте регулярные выражения для сложных шаблонов.

Откройте Grafana Explore

На этом шаге вы откроете источник Loki в Grafana Explore. Лабораторная работа запускает Loki, Promtail и генератор примеров журналов.

Проверьте готовность Loki

В терминале виртуальной машины выполните:

curl -fsS http://localhost:3100/ready

Дождитесь ответа ready. Если Loki ещё запускается, подождите несколько секунд и повторите команду.

Откройте Explore

Перейдите на Desktop, откройте Firefox в виртуальной машине и зайдите на http://localhost:8080. В Grafana 9.2.10 введите admin как имя пользователя и пароль, затем выберите Skip, если будет предложено сменить пароль.

Откройте Explore значком компаса в боковой панели. Вверху выберите Loki, если он ещё не выбран.

Выберите поток журналов

На этом шаге вы выберете поток с примерами журналов по меткам. Селектор меток указывает Loki, какие потоки искать.

Выполните запрос с селектором

В Explore переключитесь в Code и введите:

{job="syslog"}

Фигурные скобки заключают селектор. Он выбирает потоки, где метка job равна syslog. В редакторе нажмите Shift + Enter, чтобы выполнить запрос. Появятся сообщения INFO, WARN и ERROR с отметками времени. Если генератор только запустился, немного подождите и повторите запрос.

Explore в Grafana 9.2.10 с результатами селектора syslog

Сохраните запрос для проверки

Сохраните тот же запрос в терминале виртуальной машины. Проверка читает файл и выполняет запрос в Loki.

echo '{job="syslog"}' > ~/project/q1.txt

Отфильтруйте журналы

На этом шаге вы оставите в выбранном потоке сообщения, содержащие ERROR.

В режиме Code замените запрос на:

{job="syslog"} |= "ERROR"

Оператор |= оставляет строки, содержащие указанный справа текст. Фильтр != действует наоборот. В редакторе нажмите Shift + Enter, чтобы выполнить запрос и проверьте, что результаты содержат ERROR.

Сохраните фильтр из терминала виртуальной машины:

echo '{job="syslog"} |= "ERROR"' > ~/project/q2.txt

Выполните поиск с помощью регулярного выражения

На этом шаге вы используете регулярное выражение, чтобы оставить сообщения с ERROR или WARN.

В режиме Code введите:

{job="syslog"} |~ "ERROR|WARN"

Фильтр |~ выбирает строки по регулярному выражению. Вертикальная черта в "ERROR|WARN" означает «или». В редакторе нажмите Shift + Enter, чтобы выполнить запрос и найдите сообщения обоих типов.

Сообщения ERROR и WARN, отобранные регулярным выражением в Grafana 9.2.10

Сохраните запрос в терминале виртуальной машины:

echo '{job="syslog"} |~ "ERROR|WARN"' > ~/project/q3.txt

Итоги

В этой лабораторной работе вы научились искать журналы с помощью LogQL.

Вы освоили три основных шага поиска:

  1. Выбор ({...}): выберите нужную книжную полку, например job="syslog".
  2. Фильтрация (|=): найдите простые ключевые слова в выбранных журналах, например "ERROR".
  3. Регулярное выражение (|~): найдите сложные шаблоны, например «A или B» ("ERROR|WARN").

LogQL предоставляет широкие возможности. В следующей лабораторной работе мы сделаем ещё один шаг и выполним вычисления над этими журналами, чтобы создавать графики, например визуализировать количество ошибок в минуту.