Debezium系列之:事件扁平化转换SMT,简化debezium数据格式,为数据添加head,为值添加键值对
Debezium系列之:事件扁平化转换SMT,简化debezium数据格式,为数据添加head,为值添加键值对
- 一、需求背景
- 二、Debezium数据格式和扁平化数据格式对比
- 三、事件扁平化SMT作用
- 四、事件扁平化转换SMT设置
- 五、事件扁平化参数详解
- 六、完整SMT参数配置
一、需求背景
- Debezium 数据更改事件具有复杂的结构,可提供丰富的信息。传达 Debezium 更改事件的 Kafka 记录包含所有这些信息。
- 当消费者需要数据格式比Debezium事件格式更简单的kafka记录时,可以通过事件扁平化转换SMT,获得只有键值对的扁平化kafka记录。
二、Debezium数据格式和扁平化数据格式对比
Debezium数据格式:
{"op": "u",