背景：通过性能监控发现上线服务器cpu某核占用率已经达到了100%，而且是由我们的某个核心服务导致的。幸亏由于我们的服务进程由多个相同worker（线程）调度承担的，所以除了CPU占用率高之外，并没有对服务造成影响。随着上次我们找到那个吃IO的罪犯，这次我们要追捕的是潜伏在团体中的特务，更加惊险刺激哟！

（注：因为问题已经解决，我们以下只能讲解侦破过程）
系统环境

用top命令很容易定位到是谁占用CPU最高。

以我们的某个业务进程（imServer）举例，为什么说这货是个潜伏者呢？因为这是个多线程的进程，我们要知道实际上占用cpu的最小单位是线程，所以肯定是众线程中的某一个或几个占用CPU过高导致的。top -H -p pid命令查看进程内各个线程占用的CPU百分比

如上图所示我们可以看出id为5887的线程cpu占用率最高，假设是它导致的cpu占用率100%。好，我们现在只要能找到他偷走的cpu就好了，虽然这小子嘴巴严，但是我们有一套完善的审问流程，不怕他不招。首先出马的是strace -T -r -c -p pid命令

它的作用是查看系统调用和花费的时间，但是不一定是系统调用占据的cpu啊，也有可能是用户态的。

我们接着让pstack pid出马

可以看到每个线程的调用堆栈，找到已经找出的占用CPU最高的那个线程，然后看他的调用堆栈，很容易看出在哪一步逻辑上导致了busy loop，接着定位到代码，修复bug，找回被偷走的cpu。

后记：其实作为一个程序员，我感觉最大的乐趣不是洋洋洒洒的写程序，而是去寻找一些“高端”bug，也许就和有些刑警痴迷于侦破案件一样，这就是对技术的热爱。

本文出自 “永远的朋友” 博客，请务必保留此出处http://yaocoder.blog.51cto.com/2668309/1543352