当前位置: 首页 > news >正文

Docker部署ES服务,全量同步的时候内存爆炸,ES自动关闭,CPU100%

问题

使用canal-adapter全量同步(参考Canal Adapter1.1.5版本API操作服务,手动同步数据(4))的时候

  • 小批量数据可以正常运行(几千条)
  • 只要数据量一大(上万条),就会内存、CPU双线爆炸,ES自动被docker关闭。

数据量大的时候系统负荷如下所示(用宝塔监控)
在这里插入图片描述
docker stats监控如下所示,很快其他容器全都变成--,完全无法提供服务
在这里插入图片描述

解决方案

参考Docker部署ES(增加内存限制启动)

最关键的一句话:启动的时候按照如下参数启动。必须得先设置single-node单节点模式,然后设置ES_JAVA_OPTS="-Xms64m -Xmx512m" 才会成功。

docker run -d --name limit_es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx512m" elasticsearch:7.6.2

ES_JAVA_OPTS的意思是设置ES中Java虚拟机环境的上下限

discovery.type=single-node是单节点模式的意思。和集群有关的配置可以参考ElasticSearch 设置-配置(一)发现和集群形成设置

  • discovery.seed_hosts:提供集群中符合主节点条件的节点列表。也可以是以逗号分隔的单个字符串。每个节点都是host:port或者host格式。host是由DNS解析出来的任意主机名称。IPV6必须用方括号括起来。如果一个主机名通过DNS解析出来多个地址,ElasticSearch会使用所有被解析出来的地址。

  • discovery.seed_providers:指定种子主机提供程序的类型来获取用于启动发现进程的种子节点的地址。默认情况下,它是基于设置的种子主机提供程序,它从 discovery.seed_hosts 设置中获取种子节点地址。此设置以前称为 discovery.zen.hosts_provider。

  • discovery.type:指定 Elasticsearch 是否应形成多节点集群。默认情况下,Elasticsearch 在形成集群时会发现其他节点,并允许其他节点稍后加入集群。如果discovery.type 设置为single-node,Elasticsearch 会形成一个单节点集群并不支持cluster.publish.timeout 设置的超时。

  • cluster.initial_master_nodes:设置全新群集中符合条件的主节点的初始集。默认情况下,此列表为空,表示此节点希望加入已引导的集群。请参阅cluster.initial_master_nodes。

解决结果

内存占用显著小了很多,并且可以直接同步大批量数据
在这里插入图片描述

http://www.lryc.cn/news/124037.html

相关文章:

  • Python——添加照片边框
  • 《高性能MySQL》——查询性能优化(笔记)
  • 【Linux操作系统】编译过程中遇到的问题-为什么加-c?执行文件提示无法执行二进制文件?main函数参数argc和*argv[]的作用和理解?
  • 【数据结构与算法——TypeScript】图结构(Graph)
  • C语言字符串拷贝函数详解及示例代码
  • IntelliJ IDEA热部署:JRebel插件的安装与使用
  • iTOP-3568开发板使用OpenCV处理图像-颜色转换
  • Python技巧----解压序列/可迭代对象赋值给多个变量
  • 16.3.2 【Linux】程序的管理
  • Linux命令200例:date用于显示和设置系统的日期和时间
  • excel入门
  • 单模光纤模场强度分布以及高斯近似的MATLAB仿真
  • Springboot 在 redis 中使用 BloomFilter 布隆过滤器机制
  • 什么是管理的本质?
  • 02:STM32--EXTI外部中断
  • CLickhouse核心特性
  • 如何运用小程序技术闭环运营链路?
  • 使用chatGPT-4 畅聊量子物理学(二)
  • 读《Flask Web开发实战》(狼书)笔记 | 第1、2章
  • Tomcat+Http+Servlet
  • Leaflet入门,Leaflet如何实现vue双向绑定数据添加到图片标记物到地图上,动态根据vue数据更新到地图上以及鼠标经过标记物显示提示框
  • C++设计模式结构型之代理模式
  • 使用PHP实现实时聊天功能的匿名聊天与加密传输
  • Maven 基础之依赖管理、范围、传递、冲突
  • Python jupyter lab 设置
  • 水库大坝安全监测系统实施方案
  • GloVe、子词嵌入、BPE字节对编码、BERT相关知识(第十四次组会)
  • Debian10:安装PHPVirtualBox
  • RANSAC算法
  • 考研408 | 【计算机网络】 传输层