当前位置: 首页 > news >正文

flink写入es的参数解析

        ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions: 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb: 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable: 延迟重试是否启用。
bulk.flush.backoff.type: 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay: 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

http://www.lryc.cn/news/296420.html

相关文章:

  • 逆向工程:揭开科技神秘面纱的艺术
  • 决策树的相关知识点
  • 【数据结构】单向链表实现 超详细
  • Opencc4j 开源中文繁简体使用介绍
  • vue 下载二进制文件
  • 数据结构之堆排序
  • 鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之ScrollBar组件
  • 读论文:DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
  • 基于微信小程序的新生报到系统的研究与实现,附源码
  • 分享一下 uniapp 打包安卓apk
  • DevOps落地笔记-21|业务价值:软件发布的最终目的
  • 【动态规划】【前缀和】【数学】2338. 统计理想数组的数目
  • 【已解决】onnx转换为rknn置信度大于1,图像出现乱框问题解决
  • 多路服务器技术如何处理大量并发请求?
  • SpringBoot - 不加 @EnableCaching 标签也一样可以在 Redis 中存储缓存?
  • Linux------命令行参数
  • LLM少样本示例的上下文学习在Text-to-SQL任务中的探索
  • 双非本科准备秋招(19.2)—— 设计模式之保护式暂停
  • 使用SpringMVC实现功能
  • spring aop实现接口超时处理组件
  • c++设计模式之装饰器模式
  • WordPress如何实现随机显示一句话经典语录?怎么添加到评论框中?
  • 【退役之重学前端】vite, vue3, vue-router, vuex, ES6学习日记
  • [linux]-总线,设备,驱动,dts
  • python3实现gitlab备份文件上传腾讯云COS
  • 292.Nim游戏
  • Spring和Spring Boot的区别
  • 备战蓝桥杯---动态规划(理论基础)
  • FPGA_ip_pll
  • 【实验3】统计某电商网站买家收藏商品数量