记一次azkaban调度异常处理
一、背景
预发布环境使用的数据库性能比较低，根据业务测试的需求，需要将数据库更换成 稳定高性能的数据库。更换业务数据库后azkaban定时任务失败
二、数据库服务信息
说明：该部分使用代号来代替，非真实信息
- 该数据库存储了azkaban 运行的数据库 : azkaban
- 该数据存储了预发布环境业务测试数据 : test
- 就数据库地址：192.168.1.110
- 新数据库地址：192.168.1.142
三、azkaban定时任务失败问题分析
1、web查看定时任务失败日志
业务相关的任务都失败，自己创建的任务执行成功；业务调度工作报错：没有获取到资源对象
2、在服务器分析定时任务日志
azkaban web和exec执行都没有发现异常的报错。只有回调失败的关键字眼。无法定位问题所在。
3、深入排查分析
a、检查azkaban 执行器和web 数据库相关配置文件: azkaban.properties ,然而数据库信息都是 正确的。
b、在azkaban 创建简单的 job测试，能成功执行。
4、疑点
a、azkaban依赖的azkaban数据库连接信息正常，并且通过创建的测试 job 可以推测 azkaban 服务是正常的。
b、突然有个疑问，有没有可能迁移数据库，业务相关的测试库的接口没更改完全？深思和继续排查，这个可能已被排除，azkaban数据库核对了遍都没有发现可以的地方，该更改的地方都改完成了。
c、曾经有过怀疑azkaban容器内存限制，以及azkaban配置文件里面对内存的配置；azkaban配置里面默认小于6GB 就不会调度到该节点的，但这个问题再次确认配置，早已解除了azkaban最小6GB内存配置的限制了。该疑问也排除了。
d、有没有可能是业务的问题呢？跟azkaban本身没有关系呢？azkaban容器是我亲手构建交付给开发人员调整的，azkaban本身配置都核对了遍了，突然灵机一闪，有没有可能是 有相关的配置藏在azkab某个角落呢？ 毕竟构建azkaban基础镜像时候，创建按照开发的要求，创建一个跟业务有关，并存放有我们自己开发的代码，那么有没有可能在这个目录里面隐藏了和业务有关的配置呢？
5、经过 重重的疑点思考，决定登录azkab容器再好好核对一番。刚好发现业务目录隐藏了连接业务数据库的配置没有更改过来。没想好开发把业务配置直接打包到镜像里面了。
三、问题复盘
1、azkaban基础镜像是我按照开发负责人的需求出方案并且构建的，azkaban本身用到的数据库配置和应用配置等都是通过configMap方式挂载的。
2、没想到开发他们把跟业务有关的配置，如业务数据库连接信息等配置文件直接打包到镜像里面了。我们环境是基于CICD，一键把源码打包成应用，基于基础镜像构建迭代的镜像，然后发布到k8s环境，完成应用迭代部署。
3、开发也没有告知我业务配置打包在镜像面了，让我产生了误解，一直以为除了azkaban本身的配置没有其他配置了。