Linux高性能网络编程十谈|工具篇
上篇文章主要是介绍《Linux高性能网络编程十谈|协程》，整理如何设计高性能网络编程，接下来的两篇文章主要介绍工具和性能问题分析的总结，有相关的问题可以在留言区留言，我将解答大家的疑问。
这是一张linux各个模块的图和对应的工具（当然这里工具比较多，本文只将讲和高性能调试和排查问题相关的工具）。
第一部分：Linux服务器参数
1、内核参数
（1）max-file-number
在linux系统中很多资源都是以文件描述符表示的，但是文件描述符并非无限的大，系统分为硬限制和软限制（软限制小于等于硬限制），如果需要修改，则通过/etc/security/limits.conf：
hard nofile max-file-number
soft nofile max-file-number
有时我们在linux编程中会碰到错误：Too many open files，这个表示某个进程打开的文件句柄超过限制，再打开文件就会报错，这就是linux对用户级限制的句柄数，查询可以通过命令ulimit -n，修改可以通过命令ulimit -SHn max-file-number。
（2）limits.conf中的其他限制
限制cpu运行时间，可以设置 hard cpu 1，单位是分钟fsize限制创建文件大小，可以设置 hard fsize 100，单位是kb
（3）/proc/sys/fs/file-max
系统级的文件描述符限制，可以临时修改/proc/sys/fs/file-max的值，放开限制。
（4）/proc/sys/fs/epoll/max_user_watches
epoll内核事件表中注册事件的总量，这里包含用户打开的所有epoll实例总共能监听的事件数目。
2、网络参数
（1）/proc/sys/net/core/somaxconn
指定listen监听队列中，能够建立完整连接的从而进入ESTABLISHD状态的socket最大数目。
（2）/proc/sys/net/ipv4/tcp_max_syn_backlog
指定listen监听队列中，能够建立完整连接的从而进入ESTABLISHD或者SYNC_RCVD状态的socket最大数目。
（3）/proc/sys/net/ipv4/tcp_wmem和/proc/sys/net/ipv4/tcp_rmem
/proc/sys/net/ipv4/tcp_wmem指定socket的TCP写缓冲最大值，默认值和最小值/proc/sys/net/ipv4/tcp_rmem指定socket的TCP读缓冲最大值，默认值和最小值
（4）/proc/sys/net/ipv4/tcp_syncookies
是否打开TCP的同步标签，tcp_syncookies目的是解决一个监听socket因不停的重复收到来自同一个地址的连接请求，而导致listen监听队列的溢出。
以上永久生效的生效方式是修改或者添加选项到/etc/synctl.conf，然后执行sysctl -p。
第二部分：分析工具
测试程序，以下命令依赖的本代码作为样例
#include <iostream>
#include <cmath>
using namespace std;
void for_loop()
{
for (int i = 0; i < 1000; i++) {
for (int j = 0; j < 10000; j++) {
int x = sin(i) + cos(j);
}
}
}
void loop1()
{
for (int i = 0; i < 10; i++) {
for_loop();
}
}
void loop2()
{
for (int i = 0; i < 100; i++) {
for_loop();
}
}
int main()
{
loop1();
loop2();
return 0;
}
// 编译方式 g++ -g test.cc
1、gdb
gdb是程序员必备的调试工具，网上资料比较多我就不详细介绍，这里几个常用的调试方式：
gdb [options][执行文件 core文件|进程PID]
$ (gdb) info all-reg # 显示所有处理器寄存器的内容，包括浮点和向量寄存器
$ (gdb) list filename:line_number # 显示源代码，并以指定的行作为中心
$ (gdb) break [filename:] line_number # 在（指定文件或当前文件）指定行设置断点
$ (gdb) continue / c [passes] # 继续执行到下一个断点，passes表示忽略几次中断
$ (gdb) step / s [lines] # 执行多少行后再次被中断，如果遇到函数，将会进入函数，并在函数第一行停下来
$ (gdb) next / n [lines] # 执行多少行后再次被中断，不会进入函数
$ (gdb) frame [number] # 显示当前栈帧，或者选择不同的栈帧
$ (gdb) info locals # 当前栈帧的局部变量
$ (gdb) info args # 列出对应函数调用的参数值
$ (gdb) bt # 打印堆栈信息
...
# 调试多进程程序，允许在执行fork以后继续调试父进程还是子进程
$ (gdb) set follow-fork-mode mode(parent|child)
# 调试多线程程序常用命令
$ (gdb) info threads # 打印线程信息
$ (gdb) thread 线程ID # 切换线程ID
$ (gdb) set scheduler-locking (off|on|step) # 当前调试程序是否锁定线程
与gdp配套的还有两个工具是gstack和gcore，gstack是查看进程堆栈信息，gcore是将进程堆栈转存，然后使用gdb调试。
样例：
（1）常用调试，命令gdb ./a.out，输出如下：
[root@VM-16-16-centos ~]# gdb ./a.out
GNU gdb (GDB) Red Hat Enterprise Linux 8.2-16.el8
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-redhat-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.
For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from ./a.out...done.
(gdb) list
16 for (int i = 0; i < 10; i++) {
17 for_loop();
18 }
19 }
20
21 void loop2()
22 {
23 for (int i = 0; i < 100; i++) {
24 for_loop();
25 }
（2）用命令gstack 进程号查看堆栈，然后gcore 进程号转存数据，最后用gdb调试，输出如下：
[root@VM-16-16-centos ~]# gstack 365609
#0 0x00007f7ceef9bb55 in __sin_fma () from /lib64/libm.so.6
#1 0x0000000000400875 in std::sin<int> (__x=862) at /usr/include/c++/8/cmath:438
#2 0x0000000000400788 in for_loop () at test.cc:9
#3 0x00000000004007ef in loop2 () at test.cc:24
#4 0x0000000000400806 in main () at test.cc:31
[root@VM-16-16-centos ~]# gcore -p 365609
usage: gcore [-a] [-o filename] pid
[root@VM-16-16-centos ~]# gcore 365609
0x00007f7ceef9b602 in __sin_fma () from /lib64/libm.so.6
Saved corefile core.365609
[Inferior 1 (process 365609) detached]
# 其中转存文件为core.365609
[root@VM-16-16-centos ~]# gdb ./a.out ./core.365609
GNU gdb (GDB) Red Hat Enterprise Linux 8.2-16.el8
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-redhat-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.
For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from ./a.out...done.
[New LWP 365609]
Core was generated by `./a.out'.
#0 0x00007f7ceef9b602 in __sin_fma () from /lib64/libm.so.6
Missing separate debuginfos, use: yum debuginfo-install glibc-2.28-151.el8.x86_64 libgcc-8.5.0-4.el8_5.x86_64 libstdc++-8.5.0-4.el8_5.x86_64
(gdb) bt full
#0 0x00007f7ceef9b602 in __sin_fma () from /lib64/libm.so.6
No symbol table info available.
#1 0x0000000000400875 in std::sin<int> (__x=12) at /usr/include/c++/8/cmath:438
No locals.
#2 0x0000000000400788 in for_loop () at test.cc:9
x = -1
j = 5327
i = 12
#3 0x00000000004007ef in loop2 () at test.cc:24
i = 69
#4 0x0000000000400806 in main () at test.cc:31
No locals.
(gdb) frame 1
#1 0x0000000000400875 in std::sin<int> (__x=12) at /usr/include/c++/8/cmath:438
438 { return __builtin_sin(__x); }
(gdb) info args
__x = 12
2、tcpdump
tcpdump是一款经典的网络抓包工具，也是linux下必备调试网络工具，其中tcpdump使用参数：
tcpdump [-adeflnNOpqStvx][-c 数量][-F 文件名][-i 网络接口][-r 文件名][-s snaplen][-T 类型][-w 文件名] [表达式]
样例：
（1）常用抓包命令
tcpdump tcp -i eth1 -t -s 0 -c 100 and dst port ! 22 and src net 192.168.1.0/24 -w ./target.cap
参数解释：
tcp: ip icmp arp rarp 和 tcp、udp、icmp这些选项等都要放到第一个参数的位置，用来过滤数据报的类型
-i eth1：只抓经过接口eth1的包
-t：不显示时间戳
-s 0：抓取数据包时默认抓取长度为68字节，加上`-S 0`后可以抓到完整的数据包
-c 100：只抓取100个数据包
dst port ! 22：不抓取目标端口是22的数据包
src net 192.168.1.0/24：数据包的源网络地址为192.168.1.0/24
-w ./target.cap：保存成cap文件，方便用wireshark分析
（2）执行命令tcpdump -i any -AAA -c 3，输出如下：
[root@VM-16-16-centos ~]# tcpdump -i any -AAA -c 3
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked v1), capture size 262144 bytes
15:53:30.817134 IP VM-16-16-centos.ssh > 113.104.215.65.rrirtr: Flags [P.], seq 2416982452:2416982672, ack 3565832082, win 314, options [nop,nop,TS val 856138616 ecr 1045200609], length 220
......RT........EH....@.@.......qh.A......9...G....:7......
3..x>L~.$H.#..a.*.~..g.VG.n..k......8V`=_.2+Es+.'.,..AH.lEWmQ......Cm.]H......./...[`rh>J..d.N.....H.i.)....W.|'.......-...l.ie*1C....|. zv.....8 ..YO3..;..N+..I..../8e|,.P........xM......V....n.GGa...[y....J.R...........e......
15:53:30.817331 IP VM-16-16-centos.55721 > 183.60.82.98.domain: 41825+ PTR? 65.215.104.113.in-addr.arpa. (45)
......RT........E..I".@.@.RY.....<Rb...5.5...a...........65.215.104.113.in-addr.arpa.....
15:53:30.840249 IP 113.104.215.65.rrirtr > VM-16-16-centos.ssh: Flags [.], ack 0, win 2047, options [nop,nop,TS val 1045200644 ecr 856138605], length 0
........"$.'....E..4..@...zNqh.A..........G...9............
>L..3..m
3 packets captured
11 packets received by filter
2 packets dropped by kernel
3、lsof
lsof是列出当前系统或者进程打开文件描述符的工具，其中使用方式：
lsof -i [46] [protocol][@hostname|ipaddr]:[service|port] // 显示当前端口或者ip占用的句柄列表
lsof -c [进程名] // 显示当前进程名打开的句柄列表
lsof -p [进程id] // 显示当前进程id打开的句柄列表
lsof -t [文件名] // 显示打开当前文件的进程id
样例：
（1）执行lsof -i:22，查看22端口占用句柄，输出如下：
[root@VM-16-16-centos ~]# lsof -i:22
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sshd 1167 root 5u IPv4 21933 0t0 TCP *:ssh (LISTEN)
sshd 1167 root 6u IPv6 21935 0t0 TCP *:ssh (LISTEN)
sshd 39808 root 5u IPv4 372839047 0t0 TCP VM-16-16-centos:ssh->59.37.124.125:32754 (ESTABLISHED)
sshd 39821 root 5u IPv4 372839047 0t0 TCP VM-16-16-centos:ssh->59.37.124.125:32754 (ESTABLISHED)
（2）执行lsof -p 58582，查看进程占用句柄，输出如下：
[root@VM-16-16-centos ~]# lsof -p 58582
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
a.out 58582 root cwd DIR 253,1 4096 393219 /root
a.out 58582 root rtd DIR 253,1 4096 2 /
a.out 58582 root txt REG 253,1 18240 394769 /root/a.out
a.out 58582 root mem REG 253,1 3167976 268071 /usr/lib64/libc-2.28.so
a.out 58582 root mem REG 253,1 99672 262185 /usr/lib64/libgcc_s-8-20210514.so.1
a.out 58582 root mem REG 253,1 2191840 280386 /usr/lib64/libm-2.28.so
a.out 58582 root mem REG 253,1 1660936 269721 /usr/lib64/libstdc++.so.6.0.25
a.out 58582 root mem REG 253,1 278504 268057 /usr/lib64/ld-2.28.so
a.out 58582 root 0u CHR 136,0 0t0 3 /dev/pts/0
a.out 58582 root 1u CHR 136,0 0t0 3 /dev/pts/0
a.out 58582 root 2u CHR 136,0 0t0 3 /dev/pts/0
4、nc
nc是瑞士军刀，主要用来快速建立连接，使用方式：
nc [-hlnruz][-g<网关...>][-G<指向器数目>][-i<延迟秒数>][-o<输出文件>][-p<通信端口>][-s<来源位址>][-v...][-w<超时秒数>][主机名称][通信端口...]
-g<网关> 设置路由器跃程通信网关，最多可设置8个
-G<指向器数目> 设置来源路由指向器，其数值为4的倍数
-h 在线帮助
-i<延迟秒数> 设置时间间隔，以便传送信息及扫描通信端口
-l 使用监听模式，管控传入的资料
-n 直接使用IP地址，而不通过域名服务器
-o<输出文件> 指定文件名称，把往来传输的数据以16进制字码倾倒成该文件保存
-p<通信端口> 设置本地主机使用的通信端口
-r 乱数指定本地与远端主机的通信端口
-s<来源位址> 设置本地主机送出数据包的IP地址
-u 使用UDP传输协议
-v 显示指令执行过程
-w<超时秒数> 设置等待连线的时间
-z 使用0输入/输出模式，只在扫描通信端口时使用
样例：
（1）web服务器
# 1. 启动server端，while :; do (echo -ne "HTTP/1.1 200 OK\r\nhello world")|nc -l -p 8000; done
# 2. 启动client端，echo "GET / HTTP/1.0\r\n\r\n" | nc 127.0.0.1 8000，输出如下：
[root@VM-16-16-centos ~]# echo "GET / HTTP/1.0\r\n\r\n" | nc 127.0.0.1 8000
HTTP/1.1 200 OK
hello world
（2）远程控制
# 正向控制，被控端主动设置监听端口及bash环境，控制端连接
# 被控制端执行下面的命令：
nc -lvnp 8888 -c bash
# 控制端执行下面的命令（可以输入ls命令，就能获取返回）：
nc 127.0.0.1 8888
5、strace
strace是测试服务性能的重要工具，它可以跟踪程序运行过程中执行的系统调用和接收信号等，使用方式：
strace [-cdfrt][-e trace=all|file|process|network|signal|ipc...][-p 进程号]
-c 统计每一系统调用的所执行的时间，次数和出错的次数等
-d 输出strace关于标准错误的调试信息
-f 跟踪由fork调用所产生的子进程
-F 尝试跟踪vfork调用，在-f时,vfork不被跟踪
-a 设置返回值的输出位置
-r 打印出相对时间关于每一个系统调用
-t 在输出中的每一行前加上时间信息（方便查看调用事件）
-T 显示每一调用所耗的时间（可以分析系统调用函数情况）
-x 以十六进制形式输出非标准字符串
-xx 所有字符串以十六进制形式输出
-p 跟踪指定进程
其中：
-e expr指定一个表达式，格式[qualifier=][!]value1[,value2]...，但是只能是（trace,abbrev,verbose,raw,signal,read,write）之一，以trace跟踪格式为例，如下样例：
-e trace=set 跟踪指定的系统调用，例如：-e trace=open,close,rean,write表示只跟踪这四个系统调用，默认的为set=all
-e trace=file 跟踪有关文件操作的系统调用
-e trace=process 跟踪有关进程控制的系统调用
-e trace=network 跟踪与网络有关的所有系统调用
-e trace=signal 跟踪所有与系统信号有关的系统调用
-e trace=ipc 跟踪所有与进程通讯有关的系统调用
-e trace=all 两个特殊的符号all和none，all表示跟踪所有的set，none表示不跟踪
样例：
（1）跟踪上面的nc命令，执行nc -lvnp 8888 -c bash，输出如下：
[root@VM-16-16-centos ~]# strace -e trace=network nc -lvnp 8888 -c bash
Ncat: Version 7.70 ( https://nmap.org/ncat )
socket(AF_INET6, SOCK_STREAM, IPPROTO_TCP) = 3
setsockopt(3, SOL_SOCKET, SO_REUSEADDR, [1], 4) = 0
setsockopt(3, SOL_IPV6, IPV6_V6ONLY, [1], 4) = 0
bind(3, {sa_family=AF_INET6, sin6_port=htons(8888), sin6_flowinfo=htonl(0), inet_pton(AF_INET6, "::", &sin6_addr), sin6_scope_id=0}, 28) = 0
listen(3, 10) = 0
Ncat: Listening on :::8888
socket(AF_INET, SOCK_STREAM, IPPROTO_TCP) = 4
setsockopt(4, SOL_SOCKET, SO_REUSEADDR, [1], 4) = 0
bind(4, {sa_family=AF_INET, sin_port=htons(8888), sin_addr=inet_addr("0.0.0.0")}, 16) = 0
listen(4, 10) = 0
Ncat: Listening on 0.0.0.0:8888
accept(4, {sa_family=AF_INET, sin_port=htons(55084), sin_addr=inet_addr("127.0.0.1")}, [128->16]) = 5
Ncat: Connection from 127.0.0.1.
Ncat: Connection from 127.0.0.1:55084.
recvfrom(5, "ls\n", 8192, 0, NULL, NULL) = 3
sendto(5, "a.out\ntest.cc\n", 14, 0, NULL, 0) = 14
（2）统计系统调用时间
[root@VM-16-16-centos ~]# strace -c ./a.out
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
27.95 0.000135 9 14 mmap
24.43 0.000118 11 10 mprotect
13.46 0.000065 7 9 read
8.28 0.000040 8 5 close
8.28 0.000040 8 5 openat
6.21 0.000030 6 5 fstat
6.21 0.000030 6 5 lseek
3.11 0.000015 15 1 munmap
2.07 0.000010 5 2 1 arch_prctl
0.00 0.000000 0 3 brk
0.00 0.000000 0 1 1 access
0.00 0.000000 0 1 execve
------ ----------- ----------- --------- --------- ----------------
100.00 0.000483 7 61 2 total
6、netstat
nestat是功能很强大的网络信息统计工具，经常在网络问题排查中使用，选项包括：
netstat [-natrisop][-c 采样间隔(s)]
-n 显示IP地址和端口号
-a 显示结果中包含监听的socket
-t 只显示TCP连接信息
-u 只显示UDP连接信息
-r 显示路由信息
-i 显示网卡的数据流量
-o 显示socket定时器信息
-p 显示socket所属进程PID和名字
-s 显示ICMP，TCP，UDP等socket的系统信息
样例：
（1）显示TCP，UDP和进程信息，命令netstat -tunp，输出如下：
[root@VM-16-16-centos ~]# netstat -tunp
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 216 172.27.16.16:22 113.104.215.65:4034 ESTABLISHED 299304/sshd: root [
tcp 0 84 172.27.16.16:22 34.105.249.210:42030 ESTABLISHED 300012/sshd: root [
tcp 0 0 172.27.16.16:60822 169.254.0.3:80 TIME_WAIT -
tcp 0 0 172.27.16.16:22 113.104.215.65:1890 ESTABLISHED 281372/sshd: root [
tcp 0 0 172.27.16.16:60824 169.254.0.3:80 TIME_WAIT -
tcp 0 0 172.27.16.16:43802 169.254.0.55:5574 ESTABLISHED 3974640/YDService
tcp 0 389 172.27.16.16:22 34.105.249.210:55280 LAST_ACK -
tcp 0 0 172.27.16.16:60828 169.254.0.3:80 TIME_WAIT -
tcp 0 84 172.27.16.16:22 146.190.222.176:33062 ESTABLISHED 300017/sshd: unknow
tcp 0 0 172.27.16.16:60826 169.254.0.3:80 TIME_WAIT -
tcp 0 0 172.27.16.16:45878 169.254.0.138:8186 ESTABLISHED 214251/tat_agent
tcp 0 0 172.27.16.16:22 113.104.215.65:4443 ESTABLISHED 270055/sshd: root [
tcp 0 0 172.27.16.16:22 113.104.215.65:2186 ESTABLISHED 285317/sshd: root [
tcp 0 0 172.27.16.16:43800 169.254.0.55:5574 ESTABLISHED 3974640/YDService
udp 0 0 172.27.16.16:68 172.27.16.1:67 ESTABLISHED 989/NetworkManager
其中一些输出信息简单解释：
Proto：协议信息，包括TCP和UDP Recv-Q：如果TCP连接状态处于Established，Recv-Q的数值表示接收缓冲区中还没拷贝到应用层的数据大小，如果 TCP 连接状态处于Listen状态，Recv-Q的数值表示当前全连接队列的大小 Send-Q：表示发送缓冲区中已发送但未被确认的数据大小（不管TCP是Listen状态还是Established状态都表示这个意思） State：链路状态，包括LISTEN，SYN_SENT，SYN_RECV，ESTABLISHED，TIME-WAIT，UNKNOWN，FIN-WAIT-1，FIN-WAIT-2，CLOSE-WAIT，CLOSE-WAIT等 PID：进程信息，这里包含进程名（通过-p参数输出的）
（2）显示socket当前的统计信息，命令netstat -s，输出如下：
[root@VM-16-16-centos ~]# netstat -s
IcmpMsg:
InType0: 37
InType3: 6665
InType5: 550
InType8: 11338192
InType11: 109
InType13: 3
OutType0: 11338192
OutType3: 205969
OutType14: 3
Tcp:
7023585 active connection openings
1100446 passive connection openings
30871 failed connection attempts
224072 connection resets received
8 connections established
68401617 segments received
67268650 segments sent out
330444 segments retransmitted
2734 bad segments received
5638980 resets sent
InCsumErrors: 2721
Udp:
4351700 packets received
450350 packets to unknown port received
145 packet receive errors
4374307 packets sent
0 receive buffer errors
0 send buffer errors
InCsumErrors: 145
UdpLite:
TcpExt:
604 SYN cookies sent
1874 SYN cookies received
129 invalid SYN cookies received
30846 resets received for embryonic SYN_RECV sockets
4 ICMP packets dropped because they were out-of-window
285778 TCP sockets finished time wait in fast timer
964 packets rejected in established connections because of timestamp
2382994 delayed acks sent
...
其中一些输出信息简单解释（可以基于TcpExt一些信息分析当前网络状况，从而快速排查问题）：
active connection openings：表示主动发起TCP连接的次数 passive connection openings：表示被动接受TCP连接的次数 failed connection attempts：表示TCP连接失败的次数 connection resets received：表示TCP连接被重置的次数 connections established：表示当前已经建立的TCP连接数 segments received：表示接收到的TCP数据包的数量 segments sent out：表示发送的TCP数据包的数量 segments retransmitted：表示重传的TCP数据包的数量 InCsumErrors：表示接收到的TCP数据包错误的数量
7、vmstat
vmstat是输出各个资源使用情况的工具，如进程，内存，CPU使用率等信息，选项包括：
vmstat [-fsdp][-S k|K|m|M][interval采样间隔(s)][count采样次数]
-f 显示系统启动执行以来的fork次数
-s 显示内存统计信息和活动统计信息，包括fork次数
-d 显示磁盘统计信息
样例：
（1）显示常用统计信息（间隔2s，并执行两次输出），命令vmstat 2 2，输出如下：
[root@VM-16-16-centos ~]# vmstat 2 2
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 298404 96824 1189732 0 0 1 34 1 0 0 0 99 0 0
0 0 0 298284 96824 1189736 0 0 0 214 760 1315 1 0 99 1 0
其中一些输出信息简单解释：
procs进程信息，r是等待运行的进程数，b是不可中断的睡眠状态的进程数 memory内存信息，swpd是swap内存数，free是空间内存，buff一些系统buff或者io缓存的中间内存，cache是未写入磁盘内存 swap：交换分区当前信息 io：块设备当前信息 system：CPU在内核态运行信息，包括in中断次数，cs上下文切换次数 cpu：CPU使用信息，和后面 mpstat命令输出类似
（2）显示系统活动数量统计，命令vmstat -s，输出如下：
[root@VM-16-16-centos ~]# vmstat -s
1860492 K total memory
274936 K used memory
701576 K active memory
707432 K inactive memory
299040 K free memory
96824 K buffer memory
1189692 K swap cache
0 K total swap
0 K used swap
0 K free swap
12318019 non-nice user cpu ticks
124590 nice user cpu ticks
11848347 system cpu ticks
2844992141 idle cpu ticks
4677889 IO-wait cpu ticks
0 IRQ cpu ticks
208152 softirq cpu ticks
0 stolen cpu ticks
15879112 pages paged in
985253486 pages paged out
0 pages swapped in
0 pages swapped out
1330511648 interrupts
260667271 CPU context switches
1678004734 boot time
58996940 forks
8、ifstat
ifstat是简单的网络流量检测工具，选项包括：
ifstat [-atb][-i 网卡][interval采样间隔(s)][count采样次数]
-a 监听所有网卡接口
-t 每行输出时间信息
-b 以Kbit/s为单位显示
-i 监听指定的网卡接口
样例：
（1）监听所有网卡的流量情况，命令ifstat -a，输出如下：
[root@VM-16-16-centos ~]# ifstat -a
#kernel
Interface RX Pkts/Rate TX Pkts/Rate RX Data/Rate TX Data/Rate
RX Errs/Drop TX Errs/Drop RX Over/Rate TX Coll/Rate
lo 1228 0 1228 0 147340 0 147340 0
0 0 0 0 0 0 0 0
eth0 88238K 0 83403K 0 1934M 0 1021M 0
0 0 0 0 0 0 0 0
9、mpstat
mpstat是查看每个CPU的使用情况，使用命令：
mpstat [-P|ALL][interval采样间隔(s)][count采样次数]
样例：
（1）监听CPU的使用情况，命令mpstat -P ALL 5 2，输出如下：
[root@VM-16-16-centos ~]# mpstat -P ALL 5 2
Linux 4.18.0-348.7.1.el8_5.x86_64 (VM-16-16-centos) 2023年08月19日 _x86_64_ (2 CPU)
10时02分15秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
10时02分20秒 all 0.70 0.00 0.80 0.50 0.00 0.00 0.00 0.00 0.00 98.00
10时02分20秒 0 0.60 0.00 0.80 0.20 0.00 0.00 0.00 0.00 0.00 98.40
10时02分20秒 1 0.80 0.00 0.80 0.80 0.00 0.00 0.00 0.00 0.00 97.60
10时02分20秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
10时02分25秒 all 0.50 0.00 0.30 0.00 0.00 0.00 0.00 0.00 0.00 99.20
10时02分25秒 0 0.40 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 99.20
10时02分25秒 1 0.60 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.20
平均时间: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
平均时间: all 0.60 0.00 0.55 0.25 0.00 0.00 0.00 0.00 0.00 98.60
平均时间: 0 0.50 0.00 0.60 0.10 0.00 0.00 0.00 0.00 0.00 98.80
平均时间: 1 0.70 0.00 0.50 0.40 0.00 0.00 0.00 0.00 0.00 98.40
其中一些输出信息简单解释：
%usr：除了nice为负的进程，系统上其他进程在用户空间的CPU运行时间占比 %nice：nice为负的进程在用户空间的CPU运行时间占比 %sys：系统上所有进程在内核空间的CPU运行时间占比，但不包括硬中断和软中断所耗的CPU时间 %iowait：CPU等待磁盘操作的时间占比 %irq：CPU处理硬中断的时间占比 %soft：CPU处理软中断的时间占比 %steal：虚拟CPU等待时间占比 %guest：虚拟CPU运行时间占比 %idle：系统空间时间占比
10、perf
perf是linux的一款性能分析工具，能够进行函数级和指令级的热点查找，可以用来分析程序中热点函数的CPU占用率，从而定位性能瓶颈，使用命令：
perf [top|stat][record][report][-e 事件名称][-p 进程ID]
-e 指定关注的事件，比如查看造成cache miss最多的函数排行：
perf top -e cache-misses
perf top -e task-clock
perf top -G // 得到调用关系图
perf top-e cache-misses -G // 得到调用关系图
perf top -e cycles // 指定性能事件
perf top -p 23015,32476 //查看这两个进程的cpu cycles使用情况
perf top -s comm,pid,symbol // 显示调用symbol的进程名和进程号
perf top --comms nginx,top // 仅显示属于指定进程的符号
perf top --symbols kfree // 仅显示指定的符号
样例：
（1）统计某个进程调用函数情况，命令perf top -p 368721，输出如下：
39.66% libm-2.28.so [.] __cos_fma
35.17% libm-2.28.so [.] __sin_fma
10.88% a.out [.] for_loop
6.84% a.out [.] std::cos<int>
6.43% a.out [.] std::sin<int>
0.96% a.out [.] sin@plt
0.03% a.out [.] cos@plt
0.01% [kernel] [k] _raw_spin_unlock_irqrestore
0.01% [kernel] [k] __softirqentry_text_start
0.00% [kernel] [k] tcp_v4_rcv
0.00% [kernel] [k] __inet_lookup_established
0.00% [kernel] [k] packet_rcv
0.00% [kernel] [k] update_io_ticks
0.00% [kernel] [k] _raw_spin_trylock
0.00% [kernel] [k] mod_objcg_state
11、http压测工具
这里介绍压测工具http_bench，是HTTP(HTTP/1, HTTP/2, HTTP/3, Websocket)压测工具，并支持单机和分布式，使用命令：
-n 请求HTTP的次数
-c 并发的客户端数量，但是不能大于HTTP的请求次数
-q 频率限制，每秒的请求数
-d 压测持续时间，默认10秒，例如：2s, 2m, 2h（s:秒，m:分钟，h:小时）
-t 设置请求的超时时间，默认3s
-o 输出结果格式，可以为CSV，也可以直接打印
-m HTTP方法，包括GET, POST, PUT, DELETE, HEAD, OPTIONS.
-H 请求发起的HTTP的头部信息，例如：-H "Accept: text/html" -H "Content-Type: application/xml"
-body HTTP发起POST请求的body数据
-a HTTP的鉴权请求, 例如：http://username:password@xxx/
-http 支持http1, http2, http3, ws和wss, 默认http1
-x HTTP的代理IP和端口
-disable-compression 不启用压缩
-disable-keepalive 不开启keepalive
-cpus 使用cpu的内核数
-url 压测单个URL
-verbose 打印详细日志，默认等级：3(0:TRACE, 1:DEBUG, 2:INFO, 3:ERROR)
-url-file 读取文件中的URL，格式为一行一个URL，发起请求每次随机选择发送的URL
-body-file 从文件中读取请求的body数据
-listen 分布式压测任务机器监听IP:PORT，例如： "127.0.0.1:12710".
-dashboard 监听端口，浏览器发起压测和查看QPS曲线.
-W 分布式压测执行任务的机器列表，例如： -W "127.0.0.1:12710" -W "127.0.0.1:12711".
-example 打印样例信息.
样例
./http_bench http://127.0.0.1:8000 -c 1000 -d 60s
Running 1000 connections, @ http://127.0.0.1:8000
Summary:
Total: 63.031 secs
Slowest: 0.640 secs
Fastest: 0.000 secs
Average: 0.072 secs
Requests/sec: 12132.423
Total data: 8.237 GB
Size/request: 11566 bytes
Status code distribution:
[200] 764713 responses
Latency distribution:
10% in 0.014 secs
25% in 0.030 secs
50% in 0.060 secs
75% in 0.097 secs
90% in 0.149 secs
95% in 0.181 secs
99% in 0.262 secs