소개

Grafana는 대시보드에 표시된 데이터를 평가하고 조건이 충족되면 알림을 발동할 수 있습니다. 이 실습에서는 시뮬레이션한 트래픽을 그래프로 표시하고, Grafana가 관리하는 알림 규칙을 패널에 연결한 뒤 규칙이 어떻게 평가되는지 확인합니다.

실습 VM에서는 Grafana 9.2.10을 실행합니다. 아래에서는 이 버전의 메뉴 이름을 사용합니다.

그래프 준비

이 단계에서는 시뮬레이션 데이터를 사용해 대시보드 패널을 만듭니다.

Grafana에 로그인하기

Desktop 탭으로 전환하고 VM에서 Firefox를 열어 http://localhost:8080으로 이동합니다. 사용자 이름과 비밀번호에 모두 admin을 입력합니다. 비밀번호 변경 화면에서 Skip을 선택하면 실습 검사에서 VM의 기본 로그인 정보를 사용할 수 있습니다.

데이터 소스 추가하기

왼쪽 사이드바에서 톱니바퀴 메뉴 Configuration을 열고 Data sources를 선택합니다. Add data source를 클릭하고 TestData DB를 검색해 선택합니다. Save & test를 클릭합니다. Grafana는 이 데이터 소스로 시뮬레이션 데이터를 생성합니다.

대시보드 만들고 저장하기

Dashboards → New dashboard를 열고 Add a new panel을 클릭합니다. 패널 편집기의 Data source에서 TestData DB를 선택합니다. 시각화 유형은 Time series로 유지하고 쿼리의 Scenario를 Random Walk로 설정합니다. 이 시나리오는 시간이 지남에 따라 값이 달라지는 시계열을 생성합니다.

패널의 Title에 Traffic Monitor를 입력하고 Apply를 클릭합니다. 저장 아이콘을 클릭하고 Dashboard name에 Alerting Lab을 입력한 다음 Save를 클릭합니다.

알림 규칙 만들기

이 단계에서는 패널에 알림 규칙을 연결하고 임계값을 설정합니다.

알림 편집기 열기

저장한 대시보드에서 Traffic Monitor 패널 헤더의 메뉴를 열고 Edit을 선택합니다. Alert 탭을 열고 Create alert rule from this panel을 클릭합니다. 패널에서 시작하면 해당 쿼리를 알림 편집기로 가져오고 규칙을 패널에 연결할 수 있습니다.

Traffic Monitor 패널의 Alert 탭에서 규칙을 만드는 화면

임계값 설정하기

Set a query and alert condition에서 Grafana managed alert를 선택한 상태로 둡니다. 쿼리 A가 TestData DB 데이터 소스와 Random Walk 시나리오를 사용하는지 확인합니다.

표현식 B에는 Classic condition의 WHEN last() OF A IS ABOVE가 이미 설정되어 있습니다. 임계값을 50으로 바꿉니다. Set alert condition에서는 B - expression을 선택한 상태로 둡니다. 이 표현식은 쿼리 A가 반환한 마지막 데이터 포인트를 임계값과 비교합니다.

평가 간격 설정하고 저장하기

Alert evaluation behavior에서 Evaluate every를 1m으로, for를 0s로 설정합니다. Grafana는 매분 조건을 확인하며, 조건이 충족되면 추가 대기 시간을 두지 않습니다.

Add details for your alert의 Rule name에 High Traffic Alert를 입력합니다.

Folder에 LabFolder를 입력합니다. 폴더가 아직 없다면 + Add new를 선택한 다음 Enter를 눌러 이름을 확정합니다. Group에 LabGroup을 입력합니다.

임계값을 50으로 설정한 High Traffic Alert 규칙 양식

그런 다음 Save and exit을 클릭합니다.

알림 확인

이 단계에서는 규칙과 평가 상태를 확인합니다.

알림 상태 확인하기

왼쪽 사이드바에서 Alerting → Alert rules를 엽니다. Grafana 아래에서 LabFolder를 펼치고 High Traffic Alert를 찾습니다. 규칙의 State 열을 확인합니다. 첫 번째 예약 평가까지 최대 1분 정도 기다립니다.

Random Walk가 새 값을 반환하면 상태가 바뀔 수 있습니다. Normal은 평가 시점에 조건이 충족되지 않았음을, Firing은 조건이 충족되었음을 뜻합니다. 이 실습에서는 두 상태 모두 나타날 수 있습니다.

터미널에서 저장된 규칙 확인하기

VM 터미널에서도 저장된 규칙을 확인할 수 있습니다. 다음 명령은 Grafana 9.2의 규칙 API를 호출하고 응답을 JSON 형식으로 표시합니다.

curl -fsS -u admin:admin http://localhost:8080/api/ruler/grafana/api/v1/rules |
  python3 -m json.tool

LabFolder 항목, LabGroup 규칙 그룹, High Traffic Alert 제목을 찾습니다. 규칙의 condition 필드는 Grafana가 평가할 표현식을 가리킵니다.

요약

Time series 패널에 시뮬레이션한 트래픽을 표시하고 Grafana가 관리하는 규칙을 연결했습니다. 규칙은 매분 TestData DB 쿼리의 마지막 값을 평가하고 그 값이 50을 초과하면 알림을 발동합니다. Grafana에서 규칙을 확인하고 규칙 API로 저장된 구성을 확인했습니다.