当前位置: 首页 > news >正文

源码讲解kafka 如何使用零拷贝技术(zero-copy)

前言

kafka 作为一个高吞吐量的分布式消息系统,广泛应用与实时应用场景中。为了实现高效的数据传输,kafka使用了零拷贝技术(zero-copy)显著提高了性能。本文将详细讲解 Kafka 如何利用零拷贝技术优化数据传输。

什么是零拷贝

零拷贝技术目的是减少数据传输的效率。在传统的数据传输过程中,数据在内核态和用户态之间进行多次拷贝,而零拷贝技术在内核态直接处理数据传输,避免了冗余的拷贝操作。

传统的传输过程,在没有零拷贝技术的前提下。流程如下:

  1. 数据从磁盘读取到内核缓冲区(pageCache)。数据首先从磁盘读取到内核态的页面缓存(Page Cache)中。这一步由操作系统负责,通过磁盘驱动程序完成。
  2. 数据从内核缓冲区复制到用户缓冲区.应用程序发起读取请求后,数据从内核态的页面缓存(Page Cache)复制到用户态的缓冲区。这一步通常由 read 系统调用完成。
  3. 数据从用户缓冲区复制到内核缓冲区进行传输。应用程序在准备发送数据时,数据从用户态的缓冲区再次复制到内核态的网络缓冲区。这一步通常由 write 系统调用或其他类似的系统调用完成。
  4. 数据通过网络发送。内核态的网络缓冲区中的数据最终通过网络接口发送到目标机器。
    通过这种方式你会发现进行了多次数据复制,占用了大量的CPU和内存资源,那怎么办呢?

零拷贝技术

为了提高数据传输效率,可以采用零拷贝技术,避免数据在用户态和内核态之间多次拷贝。Linux系统提供了多种零拷贝技术mmap,sendfile和splice等。

sendfile

sendfile 系统调用是一种常见的零拷贝技术,可以在内核态直接将数据从文件描述符传输到网络套接字,而无需在用户态进行数据拷贝。 sendfile接口定义如下

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

使用sendfile时,数据传输过程如下:
1.数据从磁盘读取到内核缓冲区(Page Cache)
与传统方法相同,数据从磁盘读取到内核态的页面缓存(Page Cache)。
2.数据直接从内核缓冲区发送到网络
使用 sendfile 系统调用,数据直接从内核态的页面缓存(Page Cache)传输到网络套接字,避免了从内核态到用户态的多次拷贝。

sendfile示例代码如下:

#include <sys/sendfile.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
http://www.lryc.cn/news/369103.html

相关文章:

  • Ubuntu20.04配置qwen0.5B记录
  • java自学阶段二:JavaWeb开发--day80(项目实战2之苍穹外卖)
  • HPUX系统Oracle RAC如何添加ASM磁盘
  • Jmeter 压力测测试的简单入门
  • N叉树的层序遍历-力扣
  • 解决阿里云的端口添加安全组仍然无法扫描到
  • 【因果推断python】26_双重稳健估计1
  • C语言 图形化界面方式连接MySQL【C/C++】【图形化界面组件分享】
  • Unity DOTS技术(十五) 物理系统
  • Java线程安全
  • Solidity选择使用 require 语句还是条件语句结合手动触发 revert 操作?回滚交易和抛出异常如何选择?
  • SpringCloud 网关配置websocket
  • 基于JavaScript 实现近邻算法以及优化方案
  • 移动端适配和响应式页面中的常用单位
  • 麒麟v10系统arm64架构openssh9.7p1的rpm包
  • 刚刚❗️德勤2025校招暑期实习测评笔试SHL测评题库已发(答案)
  • python对视频进行帧处理以及裁减部分区域
  • Python栈的编程题目
  • ROS云课三分钟外传之CoppeliaSim_Edu_V4_1_0_Ubuntu16_04
  • day28回溯算法part04| 93.复原IP地址 78.子集 90.子集II
  • SpringBoot项目启动时“jar中没有主清单属性”异常
  • vAttention:用于在没有Paged Attention的情况下Serving LLM
  • Python实现Stack
  • Helm在线部署Longhorn(1.6.0版本)分布式存储
  • 算法题目学习汇总
  • DockerCompose中部署Jenkins(Docker Desktop在windows上数据卷映射)
  • 吊车报警的工作原理和使用场景_鼎跃安全
  • Spring5
  • vue面试题二
  • 软件设计师笔记-程序语言基础知识