Prometheus 监控Tomcat等java应用的状态
5月应用服务出现问题，当别的小伙伴问我，有没有Tomcat等应用状态的监控的时候，我有点儿尴尬。所以赶紧抽空部署一下。
在配置之前，就当已经会安装jdk和tomcat了。
一、下载jmx_exporter
#linux下
cd /usr/local/prometheus
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar
二、配置jmx_exporter
其实配置的时候，可以很简单的写成下面的格式如下
#vim /usr/local/prometheus/jmx-exporter.yaml
---
rules:- pattern: '.*'不过，个人觉得上面这种配置，可以快速的上手，正式使用的时候，不推荐这样，因为这样会导致prometheus收集的指标太多了，对于存储和网络都会有些许的影响，特别是手机的主机特别多的时候。比较推荐官方给的配置，如下：
#官方推荐配置实例：https://github.com/prometheus/jmx_exporter/blob/master/example_configs/tomcat.yml
#将文件下载下来放到下面文件中/usr/local/prometheus/jmx-exporter.yaml#cat /usr/local/prometheus/jmx-exporter.yaml
---
lowercaseOutputLabelNames: true
lowercaseOutputName: true
rules:
- pattern: 'Catalina<type=GlobalRequestProcessor, name=\"(\w+-\w+)-(\d+)\"><>(\w+):'name: tomcat_$3_totallabels:port: "$2"protocol: "$1"help: Tomcat global $3type: COUNTER
- pattern: 'Catalina<j2eeType=Servlet, WebModule=//([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), name=([-a-zA-Z0-9+/$%~_-|!.]*), J2EEApplication=none, J2EEServer=none><>(requestCount|maxTime|processingTime|errorCount):'name: tomcat_servlet_$3_totallabels:module: "$1"servlet: "$2"help: Tomcat servlet $3 totaltype: COUNTER
- pattern: 'Catalina<type=ThreadPool, name="(\w+-\w+)-(\d+)"><>(currentThreadCount|currentThreadsBusy|keepAliveCount|pollerThreadCount|connectionCount):'name: tomcat_threadpool_$3labels:port: "$2"protocol: "$1"help: Tomcat threadpool $3type: GAUGE
- pattern: 'Catalina<type=Manager, host=([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), context=([-a-zA-Z0-9+/$%~_-|!.]*)><>(processingTime|sessionCounter|rejectedSessions|expiredSessions):'name: tomcat_session_$3_totallabels:context: "$2"host: "$1"help: Tomcat session $3 totaltype: COUNTER
三，配置tomcat
在配置Tomcat的时候，网上很多人给的都是下面这个配置：
修改文件：tomcat/bin/catalina.sh 或者win下修改tomcat/bin/catalina.bat
JAVA_OPTS=" -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml"这个配置在tomcat8中挺好用的，centos6.9版本的tomcat7 和tomcat8 也都挺好用的。但是centos6.5的tomcat7中，不好用。需要使用下面的配置
]# vim tomcat/bin/catalina.sh
CATALINA_OPTS="$CATALINA_OPTS -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml";exportCATALINA_OPTS# for win
tomcat/bin/catalina.bat恩，catalina_opts这个，在Tomcat7 和8 中都是好用的。如果是java -jar的java包的话，启动命令如下：
java -javaagent:/usr/local/prometheus/jmx_prometheus_javaagent-0.13.0.jar=20000:/usr/local/prometheus/jmx-exporter.yaml -jar yourJar.jar启动java应用，然后使用ps -ef |grep java 命令来检查启动的java应用中是否有 -javaagent。如果有就表示正常，如果没有，请自行排查问题所在，比如路径不对等。
四、prometheus的配置
我的prometheus使用的是file_sd文件自动发现。所以配置如下
- job_name: "jvm_monitor"file_sd_configs:- refresh_interval: 30sfiles:- ./conf/jvm_monitor/*.json - job_name: 'JVM/druid'metrics_path: /metricshonor_labels: truefile_sd_configs:- files:- targets/jvm/druid.yaml[apps@HZPM004149096 jvm]$ pwd
/data/docker/prometheus/conf/targets/jvm
[apps@HZPM004149096 jvm]$ cat druid.yaml- labels:app: 中运系统project: 大运系统service: zto-sitefintask-exportteam: 研发一部env: 生产developer: 聂青maintainer: 陈\纲targets:- 192.168.17.15:8024- labels:app: 中运系统project: 大运系统service: zto-fintask-exportteam: 研发一部env: 生产developer: 聂绿水青maintainer: 陈振纲targets:- 192.168.72.19:8023当然了，也可以使用一台一台的写到prometheus配置文件里，如下：
// prometheus.yml 配置文件内容- job_name: 'jvm_monitor'static_configs:- targets: ['192.168.1.200:20000']labels:appname: 'tomcat_xxx'当这些都配置的时候，重新加载prometheus的配置文件，使配置生效。
五、配置grafana
grafana的dashboards编号是8563，添加到grafana中即可。之后，就完成了tomcat的监控，如下图，稍微做了一点儿调整。
