当前位置: 首页 > news >正文

Kafka系列之:Dead Letter Queue死信队列DLQ

Kafka系列之:Dead Letter Queue死信队列DLQ

  • 一、死信队列
  • 二、参数errors.tolerance
  • 三、创建死信队列主题
  • 四、在启用安全性的情况下使用死信队列

更多内容请阅读博主这篇博客:

  • Kafka系列之:Kafka Connect深入探讨 - 错误处理和死信队列

一、死信队列

  • 死信队列(DLQ)仅适用于接收器连接器。
  • 当一条记录以JSON格式到达接收器连接器时,但接收器连接器配置期望另一种格式,如Avro时,就会发生错误。连接器在发生serde错误时不会停止。相反,连接器会继续处理记录并将错误发送到Dead Letter Queue(DLQ)。可以使用DLQ主题记录中的记录标头来识别和解决出现错误时的问题。通常,这些是可以轻松纠正的配置错误。

注意:

  • DLQ主题是根据与连接器API密钥关联的资源自动创建的。
  • 不能将接收器连接器的DLQ主题添加到同一接收器连接器消费的主题列表中(以防止无限循环)。

二、参数errors.tolerance

errors.tolerance有两个有效值:

  • none(默认值)
  • all

当errors.tolerance设置为none时,错误或无效记录会导致连接器任务立即失败,

http://www.lryc.cn/news/427316.html

相关文章:

  • Fragment学习笔记
  • NGINX 基础参数与功能
  • css设置元素居中显示
  • js判断一个任意值为空包括数组和对象
  • EmguCV学习笔记 VB.Net和C# 下的OpenCv开发
  • “TCP粘包”不是TCP的问题!
  • Electron项目依赖管理:最佳实践与常见错误
  • 华为数通路由交换HCIP/HCNP
  • 搜索面试题
  • WPF学习(8) --Windows API函数的使用
  • Linux系统-用户账号文件
  • docker配置国内镜像加速
  • C语言实现排序之堆排序算法
  • 【STM32 Blue Pill编程】-外部中断配置及使用
  • MySQL 安装与配置教程:单机、主从复制与集群模式
  • JavaEE 的相关知识点(一)
  • 使用Python实现深度学习模型:智能医疗影像识别与诊断
  • 24.给定一个链表,实现一个算法交换每两个相邻节点并返回其头部。要求不能修改列表节点中的值,只能更改节点本身。
  • Python 通过UDP传输超过64k的信息
  • 微服务设计原则——高性能:批量
  • C:指针学习-指针变量—学习笔记
  • 【MySQL 07】表的增删查改 (带思维导图)
  • 快速上手Git
  • RTC时钟测试
  • 大数据技术——实战项目:广告数仓(第六部分)报表数据导出至clickhouse
  • Android studio模拟制作-简易的订餐交易小案例
  • 消防隐患在线小程序的设计
  • 【Vue3】路由Params传参
  • 授权cleanmymac访问全部磁盘 Mac授权访问权限 cleanmymac缺少权限
  • Ubuntu/18.04 LTS下编译 BoringSSL 库