当前位置: 首页 > news >正文

linux-高级IO(中)

目录

前言

多路转接之poll

多路转接之epoll

epoll_create

epoll_wait

epoll_ctl

epoll原理

代码

epoll的两种模式


前言

由于select缺点比较多,而且操作更为复杂,因此,我们引入了poll , Poll解决了select等待的文件描述符有上限的问题和其为输入输出型参数比较多,每次都要对关心的文件描述符进行事件重置问题

多路转接之poll

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

参数说明
fds是一个poll函数监听的
结构列表. 每一个元素中, 包含了三部分内容: 文件描述符, 监听的事件集合, 返回的事件集合.

struct pollfd {int fd; /* file descriptor */short events; /* requested events */short revents; /* returned events */
};

events和revents的取值:

nfds表示fds数组的长度.

timeout表示poll函数的超时时间, 单位是毫秒(ms).

poll的优点
fdset的方式,poll使用一个pollfd不同与 的指针实现 select.使用三个位图来表示三个pollfd结构包含了要监视的event和发生的event,不再使用select“参数-值”传递的方式. 接口使用比select更方便。poll并没有最大数量限制 (但是数量过大后性能也是会下降).
poll的缺点
poll中监听的文件描述符数目增多时和select函数一样,poll返回后,需要轮询pollfd来获取就绪的描述符.
每次调用poll都需要把大量的pollfd结构从用户态拷贝到内核中.
同时连接的大量客户端在一时刻可能只有很少的处于就绪状态, 因此随着监视的描述符数量的增长, 其效率也会线性下降. 

代码实现pollserver

#pragma once#include <iostream>
#include <poll.h>
#include <sys/time.h>
#include "Socket.hpp"using namespace std;static const uint16_t defaultport = 8888;
static const int fd_num_max = 64;
int defaultfd = -1;
int non_event = 0;class PollServer
{
public:PollServer(uint16_t port = defaultport) : _port(port){for (int i = 0; i < fd_num_max; i++){_event_fds[i].fd = defaultfd;_event_fds[i].events = non_event;_event_fds[i].revents = non_event;// std::cout << "fd_array[" << i << "]" << " : " << fd_array[i] << std::endl;}}bool Init(){_listensock.Socket();_listensock.Bind(_port);_listensock.Listen();return true;}void Accepter(){// 我们的连接事件就绪了std::string clientip;uint16_t clientport = 0;int sock = _listensock.Accept(&clientip, &clientport); // 会不会阻塞在这里?不会if (sock < 0) return;lg(Info, "accept success, %s: %d, sock fd: %d", clientip.c_str(), clientport, sock);// sock -> fd_array[]int pos = 1;for (; pos < fd_num_max; pos++) // 第二个循环{if (_event_fds[pos].fd != defaultfd)continue;elsebreak;}if (pos == fd_num_max){lg(Warning, "server is full, close %d now!", sock);close(sock);// 扩容}else{// fd_array[pos] = sock;_event_fds[pos].fd = sock;_event_fds[pos].events = POLLIN;_event_fds[pos].revents = non_event;PrintFd();// TODO}}void Recver(int fd, int pos){// demochar buffer[1024];ssize_t n = read(fd, buffer, sizeof(buffer) - 1); // bug?if (n > 0){buffer[n] = 0;cout << "get a messge: " << buffer << endl;}else if (n == 0){lg(Info, "client quit, me too, close fd is : %d", fd);close(fd);_event_fds[pos].fd = defaultfd; // 这里本质是从select中移除}else{lg(Warning, "recv error: fd is : %d", fd);close(fd);_event_fds[pos].fd = defaultfd; // 这里本质是从select中移除}}void Dispatcher(){for (int i = 0; i < fd_num_max; i++) // 这是第三个循环{int fd = _event_fds[i].fd;if (fd == defaultfd)continue;if (_event_fds[i].revents & POLLIN){if (fd == _listensock.Fd()){Accepter(); // 连接管理器}else // non listenfd{Recver(fd, i);}}}}void Start(){_event_fds[0].fd = _listensock.Fd();_event_fds[0].events = POLLIN;int timeout = 3000; // 3sfor (;;){int n = poll(_event_fds, fd_num_max, timeout);switch (n){case 0:cout << "time out... " << endl;break;case -1:cerr << "poll error" << endl;break;default:// 有事件就绪了,TODOcout << "get a new link!!!!!" << endl;Dispatcher(); // 就绪的事件和fd你怎么知道只有一个呢???break;}}}void PrintFd(){cout << "online fd list: ";for (int i = 0; i < fd_num_max; i++){if (_event_fds[i].fd == defaultfd)continue;cout << _event_fds[i].fd << " ";}cout << endl;}~PollServer(){_listensock.Close();}private:Sock _listensock;uint16_t _port;struct pollfd _event_fds[fd_num_max]; // 数组, 用户维护的!// struct pollfd *_event_fds;// int fd_array[fd_num_max];// int wfd_array[fd_num_max];
};

多路转接之epoll

epoll_create

:创建epoll模型

size已经废弃,值只要填写的大于0就行,返回值也是一个文件描述符。

epoll_wait

epoll_wait  是 Linux 中  epoll  机制的核心函数之一,用于等待  epoll  实例监控的文件描述符上发生的事件,是实现 I/O 多路复用的关键步骤。
 
基本语法
 

 
 参数说明
 
-  epfd : epoll  实例的文件描述符(由  epoll_create  或  epoll_create1  创建)。
-  events :指向  struct epoll_event  数组的指针,用于存储发生的事件信息。

参数类型epoll_event:

它的第1个参数会以位图的形式传递标记位。
-  maxevents :指定  events  数组的最大容量,必须大于 0。
-  timeout :超时时间(毫秒),有三种取值:
-  0 :立即返回,无论是否有事件发生。
- 正数:等待指定毫秒数,若超时前有事件发生则立即返回。
-  -1 :无限期等待,直到有事件发生才返回。
 
返回值
 
- 成功:返回发生事件的文件描述符数量(大于 0)。
- 超时:返回  0 (当  timeout  为正数或 0 时)。
- 失败:返回  -1 ,并设置  errno  指示错误(如  EBADF  表示  epfd  无效)。
 
作用
 
 epoll_wait  会阻塞等待  epoll  实例中监控的文件描述符发生事件(如可读、可写等),当事件发生或超时后,将事件信息存入  events  数组并返回,从而高效处理多个 I/O 操作,避免传统  select/poll  的性能瓶颈。

新增,修改,删除一个文件描述符事件。

epoll_ctl

epoll_ctl  是 Linux 系统中  epoll  机制的核心函数之一,用于控制  epoll  实例中的事件,比如添加、修改或删除需要监听的文件描述符及其关联事件。
 
基本语法
 

 
参数说明
 
-  epfd : epoll  实例的文件描述符,由  epoll_create  或  epoll_create1  创建。
-  op :操作类型,有三种可选值:

-  fd :需要操作的文件描述符(如套接字、管道等)。
-  event :文件描述符上的哪一个事件。
 
 struct epoll_event  结构体
 

 -  events :常用事件类型包括:
-  EPOLLIN :表示文件描述符可读(如收到数据)。
-  EPOLLOUT :表示文件描述符可写(如缓冲区有空间)。
-  EPOLLERR :表示文件描述符发生错误。
-  EPOLLHUP :表示文件描述符被挂断(如连接关闭)。
-  EPOLLET :边缘触发模式(默认是水平触发)。
 
返回值
 
- 成功时返回  0 。
- 失败时返回  -1 ,并设置  errno  指示错误原因(如  EBADF  表示  epfd  或  fd  无效, EEXIST  表示添加已存在的  fd  等)。
 
作用
 
 epoll_ctl  是  epoll  机制中管理监听对象的关键函数,通过它可以动态维护需要监控的文件描述符列表,配合  epoll_wait  实现高效的 I/O 多路复用。

epoll原理

polk  and select都借用了类似辅助数组一样的存储形式,他们都是由用户维护,而epoll确实由操作系统维护的。

当网卡数据准备就绪的时候,网卡会向上层发送硬件中断信号给操作系统。上层接收到硬件中断信号以后,会进行比对来检测这个硬件中断信号的含义。进而发现网卡上数据已经完备  

当网卡驱动层得知网卡内有数据就绪,它会自动调用一个回调函数calback

回调函数会将该数据向上层传递,因为不同层级间数据的传输并不是通过拷贝而来,而是通过指针的指向来获取,因此它需要把数据传输给tcp的接收队列。进而将数据传输给用户层的接收缓冲区,同时,他还需要在红黑树中查找对应的文件描述符,有没有被需要关注的任务任务选项,假设回调函数回调的时候传输的就是一个文件描述符为3,写事件,而红黑树中,

3号文件描述符写事件被关注,那么他就需要把内部文件构造成一个新的节点,插入到就绪队列

之后用户就只需要从就绪队列中获取就绪节点即可。上述过程共同组成了epoll模型

该模型的返回值是一个文件描述符,而我们之前所讲文件描述符由struct file进行管理。

而我们刚刚所讲的三个调用接口与epoll模型的关系如下:

  

代码

包装epoll

#pragma onceclass nocopy
{
public:nocopy(){}nocopy(const nocopy &) = delete;const nocopy&operator=(const nocopy &) = delete;
};
#pragma once#include "nocopy.hpp"
#include "Log.hpp"
#include <cerrno>
#include <cstring>
#include <sys/epoll.h>class Epoller : public nocopy
{static const int size = 128;public:Epoller(){_epfd = epoll_create(size);if (_epfd == -1){lg(Error, "epoll_create error: %s", strerror(errno));}else{lg(Info, "epoll_create success: %d", _epfd);}}int EpollerWait(struct epoll_event revents[], int num){int n = epoll_wait(_epfd, revents, num, /*_timeout 0*/ -1);return n;}int EpllerUpdate(int oper, int sock, uint32_t event){int n = 0;if (oper == EPOLL_CTL_DEL){n = epoll_ctl(_epfd, oper, sock, nullptr);if (n != 0){lg(Error, "epoll_ctl delete error!");}}else{// EPOLL_CTL_MOD || EPOLL_CTL_ADDstruct epoll_event ev;ev.events = event;ev.data.fd = sock; // 目前,方便我们后期得知,是哪一个fd就绪了!n = epoll_ctl(_epfd, oper, sock, &ev);if (n != 0){lg(Error, "epoll_ctl error!");}}return n;}~Epoller(){if (_epfd >= 0)close(_epfd);}private:int _epfd;int _timeout{3000};
};

epollserver的构建

#pragma once#include <iostream>
#include <memory>
#include <sys/epoll.h>
#include "Socket.hpp"
#include "Epoller.hpp"
#include "Log.hpp"
#include "nocopy.hpp"uint32_t EVENT_IN = (EPOLLIN);
uint32_t EVENT_OUT = (EPOLLOUT);class EpollServer : public nocopy
{static const int num = 64;public:EpollServer(uint16_t port): _port(port),_listsocket_ptr(new Sock()),_epoller_ptr(new Epoller()){}void Init(){_listsocket_ptr->Socket();_listsocket_ptr->Bind(_port);_listsocket_ptr->Listen();lg(Info, "create listen socket success: %d\n", _listsocket_ptr->Fd());}void Accepter(){// 获取了一个新连接std::string clientip;uint16_t clientport;int sock = _listsocket_ptr->Accept(&clientip, &clientport);if (sock > 0){// 我们能直接读取吗?不能_epoller_ptr->EpllerUpdate(EPOLL_CTL_ADD, sock, EVENT_IN);lg(Info, "get a new link, client info@ %s:%d", clientip.c_str(), clientport);}}// for testvoid Recver(int fd){// demochar buffer[1024];ssize_t n = read(fd, buffer, sizeof(buffer) - 1); // bug?if (n > 0){buffer[n] = 0;std::cout << "get a messge: " << buffer << std::endl;// wrirtestd::string echo_str = "server echo $ ";echo_str += buffer;write(fd, echo_str.c_str(), echo_str.size());}else if (n == 0){lg(Info, "client quit, me too, close fd is : %d", fd);//细节3_epoller_ptr->EpllerUpdate(EPOLL_CTL_DEL, fd, 0);close(fd);}else{lg(Warning, "recv error: fd is : %d", fd);_epoller_ptr->EpllerUpdate(EPOLL_CTL_DEL, fd, 0);close(fd);}}void Dispatcher(struct epoll_event revs[], int num){for (int i = 0; i < num; i++){uint32_t events = revs[i].events;int fd = revs[i].data.fd;if (events & EVENT_IN){if (fd == _listsocket_ptr->Fd()){Accepter();}else{// 其他fd上面的普通读取事件就绪Recver(fd);}}else if (events & EVENT_OUT){}else{}}}void Start(){// 将listensock添加到epoll中 -> listensock和他关心的事件,添加到内核epoll模型中rb_tree._epoller_ptr->EpllerUpdate(EPOLL_CTL_ADD, _listsocket_ptr->Fd(), EVENT_IN);struct epoll_event revs[num];for (;;){int n = _epoller_ptr->EpollerWait(revs, num);if (n > 0){// 有事件就绪lg(Debug, "event happened, fd is : %d", revs[0].data.fd);Dispatcher(revs, n);}else if (n == 0){lg(Info, "time out ...");}else{lg(Error, "epll wait error");}}}~EpollServer(){_listsocket_ptr->Close();}private:std::shared_ptr<Sock> _listsocket_ptr;std::shared_ptr<Epoller> _epoller_ptr;uint16_t _port;
};

epoll的两种模式

LT:水平触发,它是epoll的默认模式,在事件到来时如果上层不处理,它会高电平的一直向上层传输信号.

ET:边缘触发,该模式是数据或链接从无到有,从有到多变化的时候才会通知我们一次,相对而言,该模式的通知效率更高,其io效率也更高。

ET模式是倒逼程序员,每一次通知,他都必须把本轮的数据全部取走,读取数据的方式是循环读取,直到这个读取出错为止,但是因为fd的读取方式默认是阻塞的,我们不能通过阻塞的方式进行读取,但我们并不知道内部是否已经有数据 ,因此不然的话我们进程就会阻塞的卡住了,因此。我们要以非阻塞轮询的方式进行数据读取。

正因为ET模式是一次性将数据读取完,tcp便可以向对方通过一个更大的窗口,从而从概率上让对方一次给我发送更多的数据。因为通知频率更少,因而单位时间内通知效率更高,同时数据传输量的增大,为io效率的更高也奠定了基础,因此相对而言,它是更优的,但是因为水平触发也可以一次性的对数据进行读取完毕。因此在不同场景下,二者谁效率更高效依托于不同的设计方式。

http://www.lryc.cn/news/624235.html

相关文章:

  • 【BFS 动态规划】P12382 [蓝桥杯 2023 省 Python B] 树上选点|普及+
  • Redis面试精讲 Day 25:Redis实现分布式Session与购物车
  • 【前端】使用Vue3过程中遇到加载无效设置点击方法提示不存在的情况,原来是少加了一个属性
  • [激光原理与应用-296]:理论 - 非线性光学 - 线性光学与非线性光学对比
  • (第十九期)用 VS Code 管理项目:目录文件夹与根目录,一次讲清
  • Vulkan笔记(五)-逻辑层与队列
  • halcon基于透视的可变形模型匹配
  • C预备知识01:
  • 数字电视:技术演进与未来展望
  • 用户认证技术
  • MySQL 函数大赏:聚合、日期、字符串等函数剖析
  • 静配中心配药智能化:基于高并发架构的Go语言实现
  • CPP异常
  • 新手向:Java方向讲解
  • 数据挖掘 3.5 支持向量机——边界和正则化
  • C++ const
  • CSDN转PDF【无水印且免费!!!】
  • 计算机网络:2、TCP和UDP
  • 代码随想录刷题Day36
  • 时序数据库 Apache IoTDB:从边缘到云端Apache IoTDB 全链路数据管理能力、部署流程与安全特性解读
  • RH134 管理网络安全知识点
  • 前端处理导出PDF。Vue导出pdf
  • 备份数据库数据的时候,使用全局锁会影响业务,那有什么其他方式可以避免?
  • Redis---持久化策略
  • 如何用企业微信AI 破解金融服务难题?
  • easyexcel fastexcel 官方文档 easyexcel合并单元格
  • linux:告别SSH断线烦恼,Screen命令核心使用指南
  • 前端上传excel并解析成json
  • 实现自学习系统,输入excel文件,能学习后进行相应回答
  • AI 对话高效输入指令攻略(五):AI+PicDoc文生图表工具:解锁高效图表创作新范式