当前位置: 首页 > news >正文

06 Kafka线上集群部署方案

kafka部署在linux上有什么好处

网络传输效率

kafka部署在linux上,可以用到linux的零拷贝提升网络传输效率,提高kafka的吞吐量。利用零拷贝可以使数据不经过用户态直接通过网卡发送给接收方,实现数据的高性能传输

kafka和零拷贝技术

kafka应用了两个零拷贝技术,sendfile和mmap

sendfile

kafka消息消费过程应用了sendfile,可以查看https://www.jianshu.com/p/0af1b4f1e164这篇文章,讲解了零拷贝对kafka网络传输效率的提升
kafka broker将数据发送到消费者,需要在用户态和内核态之间切换,并且数据需要在用户态和内核态之间拷贝多次,才最终打到网卡,传输给接收方。
linux的零拷贝技术节省了两次拷贝:1.应用程序将数据从内核态的页缓存拷贝到应用空间的应用缓存。2.应用程序将数据从应用缓存拷贝到内核空间的Socket Buffer。

DMA技术:DMA 传输将数据从一个地址空间复制到另外一个地址空间。当CPU 初始化这个传输动作,传输动作本身是由 DMA 控制器来实行和完成。因此通过DMA,硬件则可以绕过CPU,自己去直接访问系统主内存。很多硬件都支持DMA,其中就包括网卡、声卡、磁盘驱动控制器等。

Java中的零拷贝是依靠java.nio.channels.FileChannel中的transferTo(long position, long count, WritableByteChannel target)方法来实现的。transferTo方法的底层实现是基于操作系统的sendfile这个system call来实现的

mmap

linux用户空间和内核空间

用户空间:应用程序可以直接访问的内存区域,用于存放应用的代码和数据,应用程序直接运行在应用空间中。
内核空间:存放内核代码和数据的内存区域,只有内核可以直接访问,内核运行在这个空间。
内核空间和用户空间通过虚拟内存机制进行隔离,分配在不同的虚拟内存区域,这保证了系统的稳定性。
应用程序通过系统接口进行访问内核空间,才能向内核发出指令。内核可以一些机制来访问用户空间,比如复制用户空间的数据。

参考这篇文章:http://www.ruanyifeng.com/blog/2016/12/user_space_vs_kernel_space.html

http://www.lryc.cn/news/152352.html

相关文章:

  • flex-shrink计算题
  • Springboot - 5.Bean的生命周期
  • 华为云 sfs 服务浅谈
  • CSS中如何实现元素的渐变背景(Gradient Background)效果?
  • buildroot修改内核防止清理重新加载办法
  • Vue框架--Vue中的事件
  • 1921. 消灭怪物的最大数量
  • 创建一个空的vue项目,配置及步骤
  • 一篇文章教会你如何编写一个简单的Shell脚本
  • SSM框架-spring
  • 聊一下C#中的lock
  • 学会Mybatis框架:让你的开发事半功倍【五.Mybatis关系映射】
  • 《TCP/IP网络编程》阅读笔记--基于Windows实现Hello Word服务器端和客户端
  • Java-Optional类
  • AJAX学习笔记1发送Get请求
  • Elasticsearch 高级搜索技巧和最佳实践
  • 解决 .csv 文件上传到 pgsql 的字符报错问题
  • linux自动挂载并添加用户权限
  • 【C++】学习STL中的stack和queue
  • Java捕获异常
  • 【LLM】快速开始 LangChain
  • Unity中立体声平移的应用
  • jupyter常用的方法以及快捷键
  • SQL Server 操作JSON数据库列
  • 拼多多开放平台的API接口可以获取拼多多电商数据。以下是API接口流程
  • 使用Docker安装和部署kkFileView
  • 胆囊结石3mm严重吗(解析胆囊结石的危害和处理方法)
  • 全新UI站长在线工具箱系统源码带后台开源版
  • maven的依赖下载不下来的几种解决方法
  • CAR-T商品化的第一步