1、背景

有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。

2、说明

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

3、分析问题的方法论

套用5W2H方法，可以提出性能分析的几个问题

•  What-现象是什么样的
•  When-什么时候发生
•  Why-为什么会发生
•  Where-哪个地方发生的问题
•  How much-耗费了多少资源
•  How to do-怎么解决问题

4、cpu

4.1 说明

针对应用程序，我们通常关注的是内核CPU调度器功能和性能。

线程的状态分析主要是分析线程的时间用在什么地方，而线程状态的分类一般分为：

a. on-CPU：执行中，执行中的时间通常又分为用户态时间user和系统态时间sys。

b. off-CPU：等待下一轮上CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

如果大量时间花在CPU上，对CPU的剖析能够迅速解释原因；如果系统时间大量处于off-cpu状态，定位问题就会费时很多。但是仍然需要清楚一些概念：

•  处理器
•  核
•  硬件线程
•  CPU内存缓存
•  时钟频率
•  每指令周期数CPI和每周期指令数IPC
•  CPU指令
•  使用率
•  用户时间／内核时间
•  调度器
•  运行队列
•  抢占
•  多进程
•  多线程
•  字长
•