当前位置: 首页 > news >正文

flink任务性能优化

1、使用异步算子,异步执行操作

2、将下游数据需要的数据以参数的形式向下传递

3、当服务器资源有限的情况下,慎用RocksDBStateBackend

RocksDBStateBackend performance will be poor because of the current Flink memory configuration! RocksDB will flush memtable constantly, causing high IO and CPU. Typically the easiest fix is to increase task manager managed memory size. If running locally, see the parameter taskmanager.memory.managed.size. Details: arenaBlockSize 8388608 > mutableLimit 3737299 (writeBufferSize = 67108864, arenaBlockSizeConfigured = 0, defaultArenaBlockSize = 8388608, writeBufferManagerCapacity = 4271199)

明确指出,当前内存有限的情况下,使用rocketDB会造成性能损害,因为rocketDB会不停刷内存,造成高io和高cpu。所以在小型化项目时,对状态数据要求不高时,可考虑不使用rocketDB作为状态后端

http://www.lryc.cn/news/107023.html

相关文章:

  • vue2 el-carousel轮播图和文字一起改变
  • LangChain:打造自己的LLM应用 | 京东云技术团队
  • 字节跳动测试岗,3面都过了,HR告诉我这个原因被刷了...
  • Android 14重要更新预览
  • 快速上手字符串函数
  • linux(centos) docker 安装 nginx
  • SpringBoot 整合 Minio
  • 《吐血整理》高级系列教程-吃透Fiddler抓包教程(24)-Fiddler如何优雅地在正式和测试环境之间来回切换-中篇
  • 探索 GPTCache|GPT-4 将开启多模态 AI 时代,GPTCache + Milvus 带来省钱秘籍
  • 纯css实现登录表单动效
  • 【css】外边距margin
  • Cpp8 — 二叉搜索树
  • 【实操教程】如何开始用Qt Widgets编程?(一)
  • openmp和avx配置
  • 18 个JS优化技巧,可以解决 90% 的屎山代码!!!
  • go逆向符号恢复
  • 论文阅读- Uncovering Coordinated Networks on Social Media:Methods and Case Studies
  • 应急响应-Linux
  • 利用spinal的伴生对象简化集成rtl代码过程
  • C# Blazor 学习笔记(7):组件嵌套开发
  • DAY1,C高级(命令,Linux的文件系统,软、硬链接文件)
  • Race竞争型漏洞
  • 基于 FFlogs API 快速实现的 logs 颜色查询小爬虫
  • 【牛客】统计字符
  • 测试|Junit相关内容
  • 19-2.vuex
  • 微信小程序 选择年和月以及回显 使用picker-view组件
  • 助力工业物联网,工业大数据之ST层的设计【二十五】
  • MySQL实践——参数SQL_SLAVE_SKIP_COUNTER的奥秘
  • 小程序面试题