clickhouse深入浅出
基础知识+原理
极致压缩率 极速查询性能
列式数据库管理 ，读请求多 大批次更新或无更新 读很多但用很少 大量的列 列的值小数值/短字符串 一致性要求低
DBMS：动态创建/修改/删除库 表 视图，动态查/增/修/删，用户粒度设库/表权限，分布式，备份恢复
向量化执行引擎：优化循环，SIMD CPU寄存器实现数据并行；
数据分片 分布式查询：1分片对应1服务节点
本地表=数据分片，分布式表不存数据，本地表访问代理
列式存储：减少查询所需要扫描的数据量
数据压缩LZ4：步长匹配扫描数据，编码转换重复部分 ；降低IO和存储的压力
多线程：
大小写敏感
多样化表引擎：合并树 内存 文件 接口
多主架构：对等角色 all节点功能相同 规避单点故障
总结：高效列式存储引擎，实现了数据有序存储、主键索引、稀疏索引、数据Sharding、数据Partitioning、TTL、主备复制等丰富功能
存储层
列式存储：只需要读取参与计算的列，减少io 加速查询
数据有序存储：按某列sort by，相同sort key数据联系存储 有序摆放，少量block 利用page cache
主键索引：每列按index granularity(8192)划分，第一行mark行 二分查找 index granularity 加速查
数据增改删：alter变更，异步执行时立即返回，实际排队等待执行
mutation：找到分区 重建 新换旧，不可撤 顺序执行 ，推荐一次性更新大量数据
模块
- column列对象 field是基础映射单元，不同类型不同实现 columnString columnArray，单个值field聚合13中数据类型和相应处理逻辑 uint64 null string array
- dataType序列化反序列化，具体实现=》对应数据类型的实例，数据读取从column field获取
- block 表的子集，数据 类型 列名组成，ColumnWithTypeAndName聚合column读取数据，dataType序列化
- block流，IBlockInputStream(60种)读取 关系运算，IBlockOutputStream输出到下一环节 表引擎相关
- table IStorage接口，子类实现 DDL read write，查询交给Interpreter解释器处理
ClickHouse特性及底层存储原理-CSDN博客
实践
Java Language Client Options for ClickHouse | ClickHouse Docs
实践这个就先不写了，直接上一个完整的博客例子
springboot整合mybatis-plus、clickhouse、mysql多数据源_springboot 配置mysql 和clickhouse双数据源-CSDN博客
GitCode - 开发者的代码家园
SpringBoot2 集成 ClickHouse 实现高性能数据分析_springboot如何集成clickhouse-CSDN博客
问题
活动及用户+匹配模块 收集 埋点数据 异步kafka 活动等业务消费 MybatisPlus 写入clickhouse
消费等TPS大几千， too many parts
clickhouse最小操作单元block，写入借助zk的唯一自增的blockId，按照PartitionId_blockId_blockId_0生成data parts，后台merge线程 单次耗时5min，分钟内 多个小文件合并成PartitionId_MinBlockNum_MaxBlockBum_Level，32个merge线程池，频繁插入 merge压力大 处理不了，默认clickhouse一次合并超300个文件就报错了
解决：少批多条 调小写入的并发数，调大批处理数据size间隔 减少文件个数，1s写入一次
每次单条写入
MybatisPlus的savebatch 最大sql 4M，最大单次1000条，再多的话便单条写入
改为其他方式写入，原生jdbc/flink，自定义sink 一定批次/执行checkpoint写入一次
写入性能很差
clickhouse底层使用httpclient，单条频繁写入效率很低
解决
定时任务，有数据 放到队列1 当数据过大｜10-15s后 队列1放入队列2 队列2批量写入clickhouse 清空队列1
优化
25亿数据 耗时比较长
大部分按照时间来查询，执行计划分析sql
//打印执行日志：执行日志级别trace
clickhouse-client -u xxxx --password xxxxxx --send_logs_level=trace <<< ‘your query sql’ > /dev/null
没有用到主键索引空值使用无意义的字符串填充，clickhouse底层将空值单独文件存储，影响性能
明确select查询字段
多线程查询
7天数据放入一个分区，分区查询
直接使用count()查询数据量
使用高级函数，multilf argMax
聚合外推
号外：RuoYi
RuoYi
若依框架的介绍与基本使用（一起走进若依框架的世界）-CSDN博客
