生产环境同时连接数上升问题分析

一、首先看监控

宿主机监控：

操作系统监控：

 

 

望着服务器这个优雅的连接数一直在上升是什么感想？实际的tcp连接数却没有增长？

不影响业务，所以可以慢慢看原因

 

 

二、分析问题

1、第一个反应先查看哪个进程的连接数占用较高？（ss, netstat）

　　没有异常占用，见鬼了，停止所有的服务也是在持续增长。

2、查看对应网卡的进程哪个流量占用比较高？（nethogs，iftop）

　　没有异常流量。

3、查看系统日志，是否存在异常日志？（/var/log）

　　没有异常日志。

4、通过上面的三板斧发现解决不了问题，抓包吧？

13:51:18.581984 IP a.a.a.a.49910 > iZ2zeg80ytm8r9um2kn67dZ.XmlIpcRegSvc: Flags [S], seq 613243336, win 64240, options [mss 1460,sackOK,TS val 165901167 ecr 0,nop,wscale 1], length 0
13:51:18.582041 IP iZ2zeg80ytm8r9um2kn67dZ.XmlIpcRegSvc > a.a.a.a.49910: Flags [R.], seq 0, ack 613243337, win 0, length 0

　眼尖的老司机可能已经看出来了，客户端向目标机器建立连接，目标机器拒绝了连接。

看看ai怎么说：

第 1 行：发起 TCP 连接请求
核心行为：IP 为 a.a.a.a 的客户端（端口 49910），向服务器 iZ2zeg80ytm8r9um2kn67dZ 的 XmlIpcRegSvc 端口（这是一个自定义 / 业务端口，对应 XML IPC 注册服务）发起 TCP 三次握手的第一步。关键细节：
Flags [S]：SYN 包，仅请求建立连接，无实际业务数据（length 0）；
seq 613243336：客户端初始化的序列号（ISN）；
options 字段：协商 TCP 基础参数（MSS=1460 是最大分段长度，wscale=1 是窗口缩放，都是常规协商）；
win 64240：客户端告诉服务器 “我当前能接收 64240 字节的数据”。第 2 行：服务器拒绝连接
核心行为：服务器立即回复 RST+ACK 包，直接拒绝了客户端的连接请求（TCP 连接建立失败）。
关键细节：
Flags [R.]：R=RST（重置），.=ACK（确认），组合表示 “我确认收到你的连接请求，但拒绝建立连接”；
ack 613243337：服务器确认收到客户端的 SYN 包（序列号 613243336），所以确认号是 613243336+1；
seq 0：RST 包的序列号无实际意义，通常为 0；
win 0：服务器告诉客户端 “我当前无接收窗口，完全拒绝接收数据”；
length 0：无任何业务数据，仅返回重置指令。
可能原因：服务器的 XmlIpcRegSvc 端口未监听、防火墙拦截、服务异常等。

 

5、问题找到

XmlIpcRegSvc是机器上的一个kafka服务，不确定什么原因导致他挂了，消费者程序一直在连接。