当前位置: 首页 > news >正文

Idea本地跑flink任务时,总是重复消费kafka的数据(kafka->mysql)

在这里插入图片描述
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Idea中执行任务时,没法看到JobManager的错误,以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中,增加日志,发现jdbc连接被关闭了。 重新消费,jdbc连接又启动了。

注意,在Flink的函数中,open和close方法只在任务启动和结束的时候执行一次。反之,可以推理出,如果close方法被执行了,那么说明任务挂了。
在本地任务中增加本地Flink UI,很明显可以看到任务在不断的重启。JobManager中有明显的Exception,就是

SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
http://www.lryc.cn/news/189178.html

相关文章:

  • 基于nodemailer实现邮件发送
  • 【PostgreSQL内核学习(十八)—— (数据库表参数)】
  • 区块链的两个核心概念之一签名, 另一个是共识.
  • wpf中prism框架切换页面
  • 正则表达式(Regular Expression)学习网址分享
  • 【已解决】socket.gaierror: [Errno -3] Temporary failure in name resolution
  • CUDA code=700(cudaErrorIllegalAddress) 报错与排查方法
  • 项目管理过程组
  • python每日一练(5)
  • 经典循环命题:百钱百鸡
  • IDEA使用模板创建webapp时,web.xml文件版本过低的一种解决方法
  • 在Openresty中使用lua语言向请求浏览器返回请求头User-Agent里边的值
  • Hive面试常见基础问题
  • 设计模式 - 观察者模式
  • 【自动驾驶】PETR/PETRv2/StreamPETR论文分析
  • GPT实战系列-Baichuan2本地化部署实战方案
  • 用netty实现简易rpc
  • 【计算机网络】第三章课后习题答案
  • cesium 地图蒙版遮罩效果
  • 根据前序遍历结果构造二叉搜索树
  • 微信小程序指定某个元素强制重新渲染
  • 国际教材概念基础
  • 2023全国大学生软件测试大赛开发者测试练习题满分答案(PairingHeap2023)
  • 介绍一下tokens
  • 机器学习、深度学习相关的项目集合【自行选择即可】
  • 百面机器学习书刊纠错
  • vue2安装cesium并使用
  • 基于Docker来部署Nacos的注册中心
  • 黑马JVM总结(三十一)
  • 【C++】list基本接口+手撕 list(详解迭代器)