仪表板用来显示测量结果。告警则提示人们关注某个可能需要处理的情况。实用的告警会让读者弄清发生了什么,以及接下来该查什么。
服务监控 · 第 6 课
服务告警
学习读懂告警的触发条件、时间窗口和下一步检查。
读懂触发条件
假设一条规则检查五分钟内是否有超过 5% 的主页请求失败。它还要求至少观察到 100 个请求,确保样本量对这个服务有意义。
Window 09:10–09:15 UTC
Route /
Requests 120
Failures 12
120 个请求中有 12 个失败,错误率为 10%,规则的两个条件都满足了。告警指出的是观测到的主页请求失败。
如果十个请求里有一个失败,同一条规则会发出告警吗?
核对时间窗口
即使仪表板上的当前状态看起来正常,也要使用告警写明的时间窗口。告警可能描述的是稍早发生的情况。确认指标是否回到了平时的范围,也要检查用户需要的功能是否已经恢复。
告警在 09:16 到达,描述的是 09:10 到 09:15 的情况。应该先在哪里找相关错误?
选择有用的下一步
关于主页请求失败的告警,可以附上这条路径的指标和近期日志。分别核查用户是否受影响以及背后的原因。如果服务已经恢复,也应保留足够的背景,便于调查重复出现的告警。
哪个操作能直接检查主页是否仍然失败?
课程已完成
你已完成 服务告警
现在,你可以读懂告警,并决定要验证什么。
查看指标、阈值和最小样本量。
根据告警的时间窗口查找对应的证据。
用适当的检查验证用户看到的症状。