当前位置: 首页 > news >正文

interview_bak

flink内存管理

JVM 存在的几个问题:

  • Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存:对象头占了8个,boolean 属性占了1个,对齐填充占了7个。而实际上只需要一个bit(1/8字节)就够了。
  • Full GC 会极大地影响性能,尤其是为了处理更大数据而开了很大内存空间的JVM来说,GC 会达到秒级甚至分钟级。
  • OOM 问题影响稳定性。OutOfMemoryError是分布式计算框架经常会遇到的问题,当JVM中所有对象大小超过分配给JVM的内存大小时,就会发生OutOfMemoryError错误,导致JVM崩溃,分布式框架的健壮性和性能都会受到影响。

flink内存管理针对实时场景做了哪些优化

积极的堆外内存管理,因为流处理注重低延迟,为每一条要处理的数据在堆内存上创建对象会触发频繁的gc,导致处理停滞

  • flink在堆外开辟network buffer(专门存放缓冲数据)
  • 开辟managed memory,用于排序,缓存中间值

在这里插入图片描述

怎么定位背压

flink拓扑图,Flink的下游算子无法及时处理上游的消息时会出现反压的提示。反压提示一般有OK,LOW,HIGH三种状态。某个算子的BackPressure指标如果是HIGH,说明后面的算子存在性能问题。在任务性能调优时,对于串在一

http://www.lryc.cn/news/346098.html

相关文章:

  • layui 数据表格 自动定位新增行位置
  • window10下安装ubuntu系统以及docker使用
  • Netty核心组件介绍
  • 代码审计平台sonarqube的安装及使用
  • C++ 使用nlohmann/json.hpp库读写json字符串
  • 3GPP官网下载协议步骤
  • 【JAVA】Git 的基本概念和使用方式
  • C++多态实现原理详解
  • [数据集][目标检测]交通灯检测数据集VOC+YOLO格式2600张1类别
  • 关于测试用例
  • 一起长锈:3 类型安全的Rust宏(从Java与C++转Rust之旅)
  • 《金融研究》:普惠金融改革试验区DID工具变量数据(2012-2023年)
  • Prompt|Kimi高阶技巧,99%的人都不知道
  • 采购管理软件:采购自动化提高效率的5种方式
  • Android App开机启动
  • 服务器直连电脑(盒子直连电脑)电脑需要设置为固定ip才能访问盒子
  • 【设计模式】之代理模式(两种)
  • 【工具篇】-什么是.NET
  • OmniReader Pro mac激活版:智慧阅读新选择,开启高效学习之旅
  • Stable Diffusion学习记录
  • 安装openssh-server,提供远程ssh
  • 华纳云:选择数据库服务器你需要注意的5个原则
  • Linux动态库与静态库解析
  • 后端的一些科普文章
  • 【Android学习】日期和时间选择对话框
  • 在Linux上使用Selenium驱动Chrome浏览器无头模式
  • Feign 第一次调用为什么会很慢?
  • Spring Framework-简介
  • Linux——PHP8.0编译安装和yum安装
  • 【通义千问系列】Qwen-Agent 从入门到精通【持续更新中……】