当前位置: 首页 > news >正文

Flink Job更新和恢复

Checkpoints 的主要目的是为意外失败的作业提供恢复机制。
Savepoints的设计更侧重于可移植性和操作灵活性,尤其是在 job 变更方面。Savepoint 的用例是针对计划中的、手动的运维。例如,可能是更新你的 Flink 版本,更改你的作业图等等。

flink任务逻辑代码修改如何提交

在Apache Flink中,对任务逻辑代码进行修改并提交是一个涉及多个步骤的过程。以下是根据搜索结果提供的步骤和注意事项:

  1. 代码修改

    • 在开发环境中对Flink任务的逻辑代码进行修改。这可能包括更改数据处理逻辑、调整并行度、优化状态管理等。
  2. 单元测试和集成测试

    • 对修改后的代码进行彻底的测试,确保新的逻辑按预期工作。可以使用Flink提供的测试工具和框架进行测试。
  3. 构建和打包

    • 使用Maven或Gradle等构建工具将修改后的代码打包成JAR文件。确保所有依赖项都包含在内。
  4. 测试部署

    • 在测试环境中部署和运行打包后的JAR文件,以验证其在实际运行环境中的表现。
  5. 创建Savepoint

    • 如果需要从旧版本平滑过渡到新版本,可以在停止旧作业之前创建一个savepoint。
  6. 停止旧作业

    • 在生产环境中停止当前运行的Flink作业。如果之前创建了savepoint,可以使用它来恢复状态。
  7. 提交新作业

    • 使用Flink命令行工具或Flink客户端提交新的JAR文件。可以使用以下命令提交作业:
      ./bin/flink run -c your.main.Class your-application.jar
      
    • 如果使用savepoint恢复状态,可以添加-s参数:
      ./bin/flink run -c your.main.Class -s savepointPath your-application.jar
      
  8. 监控和验证

    • 在新作业启动后,密切监控其性能和行为,确保一切正常。可以使用Flink的Web UI来监控作业状态和指标。
  9. 文档更新

    • 更新相关的开发文档和操作文档,以反映代码变更和新的部署信息。
  10. 回滚计划

    • 准备一个回滚计划,以防新作业出现问题。如果新作业运行不稳定,可以使用savepoint快速回滚到旧版本。

在整个过程中,确保遵循最佳实践,如代码审查、持续集成和持续部署(CI/CD)等,以确保代码质量和部署的可靠性。同时,保持与团队成员的沟通,确保每个人都了解变更的内容和影响。

参考:
https://nightlies.apache.org/flink/flink-docs-release-1.20/zh/docs/ops/state/checkpoints_vs_savepoints/

http://www.lryc.cn/news/484209.html

相关文章:

  • 读多写少业务中,MySQL如何优化数据查询方案?
  • Bugku CTF_Web——点login咋没反应
  • attention 注意力机制 学习笔记-GPT2
  • 什么是HTTP,什么是HTTPS?HTTP和HTTPS都有哪些区别?
  • SkyWalking-安装
  • RabbitMQ运维
  • Go语言并发精髓:深入理解和运用go语句
  • 基于STM32的智能家居系统:MQTT、AT指令、TCP\HTTP、IIC技术
  • 分糖果(相等分配)
  • docker构建jdk11
  • 唐帕科技校园语音报警系统:通过关键词识别,阻止校园霸凌事件
  • 酒店行业数据仓库
  • A029-基于Spring Boot的物流管理系统的设计与实现
  • Python Day5 进阶语法(列表表达式/三元/断言/with-as/异常捕获/字符串方法/lambda函数
  • 一文了解Android的核心系统服务
  • Scala的Array(1)
  • [Linux] Linux信号捕捉
  • Elasticsearch的查询语法——DSL 查询
  • 开发语言中,堆区和栈区的区别
  • 驾校增加无人机培训项目可行性技术分析
  • JavaWeb后端开发知识储备1
  • ISUP协议视频平台EasyCVR视频设备轨迹回放平台智慧农业视频远程监控管理方案
  • 大数据新视界 -- 大数据大厂之 Impala 存储格式转换:从原理到实践,开启大数据性能优化星际之旅(下)(20/30)
  • 百度搜索AI探索版多线程批量生成TXT原创文章软件-可生成3种类型文章
  • ubuntu20.04 解决Pytorch默认安装CPU版本的问题
  • 名词解释-2-形状算数实验、潜在空间、3D生成模型
  • Android 使用python统计getevent按键
  • NVIDIA jetson查看资源占用情况,打印/保存资源使用情况日志
  • ssm102“魅力”繁峙宣传网站的设计与实现+vue(论文+源码)_kaic
  • 逐行加载 HTML 内容并实时显示效果:使用 wxPython 的实现