先从一个具体症状入手,例如主页请求失败。然后对照相近时间的观测结果,并确保至少有一项检查来自用户真正访问服务的位置。
服务监控 · 第 7 课
服务故障排查
遇到服务停止、依赖报错或请求缓慢时,学习如何选择下一项检查。
服务器停止时
第一种情况是浏览器报告连接被拒绝,容器显示 Exited (1)。这两项观察表明值得查查程序为何停止。查看容器保留的日志,要与其他事件比较时,先留意程序退出的时间。
哪项检查最有可能解释进程为什么停止?
依赖服务失败时
第二种情况是 Web 进程正在运行,但页面返回服务器错误。Web 日志显示,请求 r17 在调用目录服务时超时。接下来应当查看依赖服务里同一个请求的记录。第一跳正常,并不能说明后续服务都正常。
接下来应该为 r17 找什么证据?
请求变慢时
第三个样本中,大部分请求正常响应,但用户说等得久了。延迟上升的同时,工作队列也在增长。判断原因前,先检查请求量和工作单元的活动。如果做了改动,之后要重复面向用户的检查,再看同一组信号有没有变化。
怎样对比最能检验改动有没有帮助?
解读不一致的检查结果
假设本地探测成功,但用户仍能看到错误。记下每项检查使用的访问路径。本地探测可以证明主机上的进程能响应,而客户端请求可能发现到达这台主机的路径有问题。
要继续调查受影响的用户,哪项结果最合适?
课程已完成
你已完成 服务故障排查
现在,你可以根据手上的证据,选择下一项检查。
用进程状态和日志调查程序停止的原因。
沿着失败的请求追查依赖服务。
对照原本用户可见的症状,验证改动是否改善了结果。