【小白包会的】使用supervisor 管理docker内多进程
使用supervisor 管理docker内多进程
一般情况下,一个docker是仅仅运行一个服务的
但是有的情况中,希望一个docker中运行多个进程,运行多个服务,也就是一个docker容器执行多个服务。
调研了一下,发现可以通过**supervisor ** 实现,综合对比下来,上手难度和配置相对来说还算简单
总的来说需要在单体服务的基础上做以下操作
- 编写
supervisord.conf
配置文件 - 修改dockerfile文件,包括:下载supervisor, 修改docker入口
举例使用
下面来举例说明supervisor的简单使用:
比如下面的一个目录文件夹:
包含两个py文件,模拟两个不同的服务,一个服务process1 执行一个循环的进程(这里只是示例,可以是别的什么服务)
# process1.pyfrom multiprocessing import current_process
import time
import logginglogging.basicConfig(level=logging.INFO)
logger = logging.getLogger()def process1():while True:logger.info(f"i am process 1, in process {current_process().pid}")time.sleep(1)if __name__ == "__main__":process1()
process2 来运行一个fasapi服务,服务监听8096端口
import logging
import uvicornfrom typing import Unionfrom fastapi import FastAPIapp = FastAPI()@app.get("/")
def read_root():return {"Hello": "World"}@app.get("/items/{item_id}")
def read_item(item_id: int, q: Union[str, None] = None):return {"item_id": item_id, "q": q}if __name__ == "__main__":uvicorn.run(app='run:app', port=8096, host="0.0.0.0")
现在我们有两个进程process1和process2需要在一个docker中运行,我们来看dockerfile实现:
FROM python:3.9-slim AS builderWORKDIR /app
# 这里将apt源修改为国内源,可选,如果有自己的配置,用自己的
COPY ./sources.list /etc/apt/RUN apt-get update \&& apt-get upgrade -y\&& apt-get install -y --no-install-recommends build-essential# 下载python包
COPY ./requirements.txt .
RUN pip install --upgrade pip
RUN pip install --no-cache-dir -r requirements.txt# 实际运行阶段
FROM python:3.9-slimWORKDIR /appCOPY --from=builder /usr/local/lib/python3.9/site-packages /usr/local/lib/python3.9/site-packages
COPY --from=builder /usr/local/bin/uvicorn /usr/local/bin/uvicornCOPY . .COPY ./sources.list /etc/apt/sources.list
# RUN cat /etc/apt/sources.list
# 安装 supervisor 和其他系统工具
RUN apt-get update && apt-get install -y --no-install-recommends supervisor \# 创建 supervisor 配置文件夹&& mkdir -p /etc/supervisor/conf.dEXPOSE 8096# 将 supervisor 配置文件复制到容器中
COPY ./supervisord.conf /etc/supervisor/conf.d/supervisord.conf# 启动命令
CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"]
可见相对于单体进程,实际上只是添加和修改了下面这部分
# 安装 supervisor 和其他系统工具
RUN apt-get update && apt-get install -y --no-install-recommends supervisor \# && rm -rf /var/lib/apt/lists/* \&& mkdir -p /etc/supervisor/conf.d# # 创建 supervisor 配置文件夹
# RUN mkdir -p /etc/supervisor/conf.dEXPOSE 8096# 将 supervisor 配置文件复制到容器中
COPY ./supervisord.conf /etc/supervisor/conf.d/supervisord.conf# 启动命令
CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"]
最后# 启动命令 CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"]
需要根据我们创建的supervisord.conf
启动进程
来看supervisord.conf
的编写:
# supervisord 的配置
[supervisord]
nodaemon=true # 是否为守护进程
pidfile=/var/run/supervisord.pid
logfile=/var/log/supervisor/supervisord.log # supervisord.log的日志,可以看各个进程启动运行情况# 第一个进程 [program:{进程名}]
[program:process1]
command=python /app/process1.py # 启动命令 注意这里应该使用绝对路劲
autostart=true # 是否自动启动,设为true
autorestart=true # 是否自动重启
stderr_logfile=/var/log/supervisor/process1.err.log # log日志
stdout_logfile=/var/log/supervisor/process1.out.log[program:fastapi-process]
command=/usr/local/bin/uvicorn --host 0.0.0.0 --port 8096 process2:app # 启动命令uvicorn
autostart=true
autorestart=true
stderr_logfile=/var/log/supervisor/fastapi-process.err.log
stdout_logfile=/var/log/supervisor/fastapi-process.out.log
而后我们构建该镜像
docker build -t test_supervisor .
构建镜像
启动容器:
docker run -d -p 8096:8096 --name test_supervisor test_supervisor
但是这里查看两个进程的日志需要进到容器里面才行:
可见在容器中的/var/log/supervisor
中创建了几个日志文件正好是我们在supervisord.conf
中配置的文件
# 先进入容器 docker exec -it test_supervisor bash# 查看supervisor各进程启动情况
tail -f /var/log/supervisor/supervisord.log# 查看process1 的log输出日志
tail -f /var/log/supervisor/process1.err.log
#以此类推