首先我们来看如何标识一个TCP连接?系统是通过一个四元组来识别,(srcip,srcport,dstip,dstport)即源IP、源端口、目标IP、目标端口。比如我们有一台服务192.168.0.1,开启端口80.那么所有的客户端都会连接到这台服务的80端口上面。有一种误解,就是我们常说一台机器有65536个端口,那么承载的连接数就是65536个,这个说法是极其错误的,这就混淆了源端口和访问目标端口。我们做压测的时候,利用压测客户端,这个客户端的连接数是受到端口数的限制,但是服务器上面的连接数可以达到成千上万个,一般可以达到百万(4C8G配置),至于上限是多少,需要看优化的程度。具体做法如下:
我们在压测一台目标服务器,想看下负载的连接数,当我们压到一定数量的时候,控制台突然报"too many open files",这是因为linux系统创建一个TCP连接的时候,都会创建一个socket句柄,每个socket句柄就是一个文件句柄。操作系统对打开的文件句柄数量是有限制的。Unix/Linux 基本哲学之一就是 "一切皆文件",要提高TCP承载量,就需要调整文件句柄。
第一步:修改文件句柄数量限制
- # 查看当前用户允许TCP打开的文件句柄最大数
- ulimit -n
-
- # 修改文件句柄
- vim /etc/security/limits.conf
-
- *soft nofile 655350
- *hard nofile 655350
修改后,退出终端窗口,重新登录(不需要重启服务器),就能看到最新的结果了。这是优化的第一步,修改文件句柄限制。
- 注意: soft nofile (软限制)是指Linux在当前系统能够承受的范围内进一步限制用户同时打开的文件数, hard nofile (硬限制)是根据系统硬件资源状况(主要是系统内存)计算出来的系统最多可同时打开的文件数量 通常软限制小于或等于硬限制
第二步:TCP参数调优
从上面的配置参数中我们可以知道,在Linux内核中为tcp发送和接收都做了缓冲队列,这样可以提高系统的吞吐量。 以上这些参数都是在 /etc/sysctl.conf 文件中定义的,有的参数在文件中可能没有定义,系统给定了默认值,需要修改的话,直接在文件中添加或修改,然后执行sysctl -p命令让其生效。