当前位置: 首页 > news >正文

关于循环Socket创建超Linux文件句柄限制现象分析

项目场景:

在操作系统的世界中万物皆文件。之前拜读过一些作品:针对于socket的创建,Linux也相应创建文件(专业术语中也称文件句柄),于是,我想做一些关于极限的操作,看看这些极限操作会出现什么样的报错,以及相应的解决方案是什么。


问题描述

博主的主语是Java,所以,用Java编写一段程序试试看,观察观察:

import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.Socket;public class FileOpenTest{public FileOpenTest() throws Exception{}public static void main(String[] args) throws Exception{int numberOfSockets = 189412;Socket[] sockets = new Socket[numberOfSockets];for(int i = 0; i < numberOfSockets; ++i) {try {int port = 8000 + i;sockets[i] = new Socket();sockets[i].connect(new InetSocketAddress("198.1.108.211", 22));System.out.println("Socket " + i + " connected to port " + port);System.out.println(i);} catch (IOException var5) {IOException e = var5;e.printStackTrace();Thread.sleep(Integer.MAX_VALUE);return;}}}
}

部署到服务器198.1.108.210,运行程序后报以下错误:

java.net.SocketException: Too many open files
at java.base/java.net.Socket.createImpl(Socket.java:479)
at java.base/java.net.Socket.connect(Socket.java:606)
at java.base/java.net.Socket.connect(Socket.java:557)
at FileOpenTest.main(FileOpenTest.java:17)

另外,同样的代码在windows上的报错如下:
创建了有16288个socket,跟Linux上的限制数值不一样,这应该是windows的设置。
在这里插入图片描述


原因分析:

于是博主先顺藤摸瓜,找找网上对应的解决方案,最终找到了一篇比较满意的答案。参考
阅读原文之后并实践之后,发现是Linux操作系统这个硬限制参数限制了:
文件句柄限制:

#硬限制
ulimit -Ha
#软限制
ulimit -a 
ulimit -Sa

至于硬软限制的区别,网上说是软限制仅会发出警告,而硬限制则会报错


解决方案:

提示:这里填写该问题的具体解决方案:

例如:新建一个 Message 对象,并将读取到的数据存入 Message,然后 mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();换成 mHandler.sendMessage()
文章中提到的解决方案是修改/etc/security/limits.conf文件,在文件末尾添加如下设置并重新打开窗口运行程序
*代表所有用户

* soft nofile 655350
* hard nofile 655350

我分别仅设置

* soft nofile 5000

或者

* hard nofile 5000

发现真正受影响的参数的设置是后者-硬限制
其实这也正跟软硬限制的区别符合。

日常排查:

#查看当前系统打开的文件数
cat /proc/sys/fs/file-nr
#监控当前系统打开的文件数(每1秒更新一次)
watch -n 1 cat /proc/sys/fs/file-nr
#查看打开进程打开的文件数(倒叙)
lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more
#根据lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more取排在最前的进程,进而得到是哪个进程的具体描述,如下例子是1612进程
ps aux|grep 1612
#可结合下面的命令分析
#查看操作系统给改进程的硬限制值分析
cat /proc/1612/limits
#查看进程持有的句柄数,若值大于cat /proc/1612/limits中的设置,基本可以确定问题所在
ls  /proc/1612/fd/|wc -l
#查看进程持有的句柄数,若值大于cat /proc/1612/limits中的设置,基本可以确定问题所在
cat /proc/1612/limits |grep "open"

虽说上面的Linux操作系统级别的调优可以解决,但是我们首先更应该关注的是业务代码是否编写合理,就比如我上面的代码块,并没有资源关闭(为了极限测试)。否则,即使调优了,那也只会白白浪费资源。

其他参考命令:

查看当前系统支持打开的最大句柄数:more /proc/sys/fs/file-max
统计各进程打开句柄数:lsof -n|awk{print $2}|sort |uniq -c|sort -nr
统计各用户打开句柄数:lsof -n|awk{print $3}|sort |uniq -c|sort -nr
统计各命令打开句柄数:lsof -n|awk{print $1}|sort |uniq -c|sort -nr
查看当前进程实时打开的文件数:lsof -p 进程PID | wc -l
查看某个进程的句柄数限制:cat /proc/进程ID/limits
查看系统限制的最大文件打开数:cat /proc/sys/fs/file-max
查看系统当前已使用的文件句柄数:cat /proc/sys/fs/file-nr

参考
参考
参考

http://www.lryc.cn/news/444284.html

相关文章:

  • 简单说说MySQL中 SELECT 语句执行流程
  • 国产游戏技术:迈向全球引领者的征途
  • 小程序体验版无法正常请求接口,开启 调试可以正常请求
  • 什么是动态数据脱敏?
  • 【机器学习】11——矩阵求导
  • Spring Boot 实战:结合策略模式实现动态定价服务
  • Serverless架构
  • 9.20日学习记录及相关问题解答
  • 【网络安全】依赖混淆漏洞实现RCE
  • FC优化配置
  • 文件防泄漏方法有哪些|6个方法有效防止文件泄密
  • 云盘还安全么?阿里云盘出现BUG,惊现大量陌生人照片
  • 蘑菇成熟待收检测系统源码分享
  • 基于单片机的智能小车的开发与设计
  • 解决 GitLab CI/CD 中的 `413 Request Entity Too Large` 错误
  • Java项目实战II基于Java+Spring Boot+MySQL的洗衣店订单管理系统(开发文档+源码+数据库)
  • Can‘t connect to local MySQL server through socket
  • 【车载以太网】【SOME/IP】Wireshark 解析
  • Perl 进程管理
  • 爬虫 ----hook
  • 【监控】【Nginx】使用 Docker 部署 Prometheus + Grafana 监控 Nginx
  • Vue3 + Vite Web项目 Electron 打包桌面应用程序
  • Linux:login shell和non-login shell以及其配置文件
  • 面试速通宝典——1
  • 用uniapp 及socket.io做一个简单聊天 升级 9
  • 【Unity Shader】Special Effects(九)Vortex 旋涡(UI)
  • 01_两数之和
  • ChatGLM-6B-部署与使用
  • 李宏毅结构化学习 03
  • java重点学习-总结