Docker容器化部署Python应用

时间 2019-12-06 标签 docker 容器化部署 python 应用

1. 简介

Docker是目前主流IT公司普遍接受和使用的，用于构建、管理和保护它们应用程序的工具。html

容器，例如Docker容许开发人员在单个操做系统上隔离和运行多个应用程序，而不是为服务器上的每一个应用程序专用一个虚拟机。使用容器更轻量级，能够下降成本、更好地使用资源和发挥更高的性能。python

本文将使用Flask开发一个简单的Python web应用程序，并为“容器化”作好准备。而后建立一个Docker映像，并将其部署到测试和生产环境中。nginx

注意： 请确保机器上已安装Docker，若是没有请参考Docker官方安装教程。web

2. Docker介绍

Docker是一种工具，它使开发人员可以交付他们的应用程序(以及库或其余依赖项)，确保他们可使用正确的配置运行，而不受部署环境影响。docker

这是经过将应用程序隔离在单独的容器中来实现的，这些应用程序虽然被容器分隔开，可是却能够共享操做系统和其余资源。shell

Docker包含两部分:flask

Docker Engine — 应用打包工具，用于封装应用程序。ubuntu
Docker Hub — 用于管理云上容器应用程序的工具。浏览器

3.为什么选择容器

了解容器的重要性和实用性很是重要，虽然它和直接将应用部署到服务器没有多大区别，可是当涉及到比较复杂的且至关吃资源的应用，尤为是多个应用部署在同一台服务器，或是同一应用要部署到多台服务器时。容器就变得很是有用。缓存

在容器以前，这是经过 VMWare 和 Hypervisor等虚拟机解决的，可是它们在效率、速度和可移植性方面已被证实并非最佳选择。

Docker容器是虚拟机的轻量级的替代品-与VM不一样，咱们不须要为它预先分配RAM、CPU或其余资源，也不须要为每一个应用程序启动一个VM，仅仅只须要一个操做系统便可。

使用容器开发人员就不须要为不一样环境制定特殊版本，这样能够专一于应用程序的核心业务逻辑。

4.建立Python应用

Flask是Python的一个轻量级Web应用框架，简单易用，能够很快速地建立web应用。咱们用它来建立此demo应用。

若是尚未安装Flask模块，可使用下面命令安装:

$ pip install flask

安装成功后，新建一个应用目录，命名为FlaskDemo。并在该目录下建立应用代码文件app.py。

在app.py中，首先引入Flask模块，而后建立一个web应用:

from flask import Flask

app = Flask(__name__)

而后定义路由/和其对应的请求处理程序:

@app.route("/")
def index():  
  return """
  <h1>Python Flask in Docker!</h1>
  <p>A sample web-app for running Flask inside Docker.</p>
  """

最后，添加运行主程序并启动该脚本:

if __name__ == "__main__":  
    app.run(debug=True, host='0.0.0.0')

$ python app.py

而后在浏览器中访问http://localhost:5000/,能够看到Dockerzing Python app using Flask这样的页面。

5.Dokcer打包应用

要在Docker上运行应用程序，首先必须构建一个容器，并且必须包含使用的全部依赖项——在咱们的例子中只有Flask。所以，新建一个包含全部依赖包的 requirements.txt 文件，而后建立一个Dockerfile，该文件用来描述构建映像过程。

此外，当启动容器时还须要放开应用程序的HTTP端口。

准备工做

requirements.txt 文件很是简单，只须要填入项目的依赖包和其对应版本便可：

Flask==1.0.2

接下来，须要将应用程序运行所需的全部Python文件都放在顶层文件夹中，例如，名为app的目录。

同时建议将主入口程序命名为 app.py ，将脚本中建立的Flask对象命名为 app 是一种一般的作法，这样也能够简化部署。

FlaskApp  
    ├── requirements.txt
    ├── Dockerfile
    └── app
        └── app.py
        └── <other .py files>

建立Dockerfile

Dockerfile本质上是一个文本文件，其中明肯定义了如何为咱们的项目构建Docker镜像。

接下来建立一个基于Ubuntu 16.04 和 Python 3.X的Dokcer镜像:

FROM ubuntu:16.04

MAINTAINER jhao104 "j_hao104@163.com"

RUN apt-get update -y && \  
    apt-get install -y python3-pip python3-dev

COPY ./requirements.txt /requirements.txt

WORKDIR /

RUN pip3 install -r requirements.txt

COPY . /

ENTRYPOINT [ "python3" ]

CMD [ "app/app.py" ]

Dockerfile的基本指令有十三个,上面用到了部分；

FROM - 全部Dockerfile的第一个指令都必须是 FROM ，用于指定一个构建镜像的基础源镜像，若是本地没有就会从公共库中拉取，没有指定镜像的标签会使用默认的latest标签，若是须要在一个Dockerfile中构建多个镜像，可使用屡次。
MAINTAINER - 描述镜像的建立者，名称和邮箱。
RUN - RUN命令是一个经常使用的命令，执行完成以后会成为一个新的镜像，一般用于运行安装任务从而向映像中添加额外的内容。在这里，咱们需更新包，安装 python3 和 pip 。在第二个 RUN 命令中使用 pip 来安装 requirements.txt 文件中的全部包。
COPY - 复制本机文件或目录，添加到指定的容器目录, 本例中将 requirements.txt 复制到镜像中。
WORKDIR - 为RUN、CMD、ENTRYPOINT指令配置工做目录。可使用多个WORKDIR指令，后续参数若是是相对路径，则会基于以前命令指定的路径。
ENTRYPOINT - 在启动容器的时候提供一个默认的命令项。
RUN - 运行 app 目录中的 app.py 。

Docker镜像构建原理

Docker镜像是使用 Docker build 命令构建的。在构建镜像时，Docker建立了所谓的“层(layers)”。每一层都记录了Dockerfile中的命令所致使的更改，以及运行命令后镜像的状态。

Docker在内部缓存这些层，这样在从新构建镜像时只须要从新建立已更改的层。例如，这里使用了 ubuntu:16.04 的基础镜像，相同容器的全部后续构建均可以重用它，由于它不会改变。可是，由于项目修改，在下次从新构建过程当中 app 目录的内容可能会有所不一样，所以只会从新构建这一层。

须要注意的是，每当从新构建某一层时，Dockerfile 中紧随其后的全部层也都须要从新构建。例如，咱们首先复制 requirements.txt 文件，而后再复制应用程序的其他部分。这样以前安装的依赖项只要没有新的依赖关系，即便应用程序中的其余文件发生了更改，也不须要从新构建这一层。这一点在建立 Dockerfiles 时必定要注意。

所以，经过将 pip 安装与应用程序其他部分的部署分离，能够优化容器的构建过程。

构建Docker镜像

如今 Dockerfile 已经准备好了，并且也了解了Docker的构建过程，接下来为咱们的应用程序建立Docker映像:

docker build -t docker-flask:0.1 .

调试模式运行

根据前面讲到的容器化的优势，开发的应用程序经过容器部署，这从一开始就确保了应用程序构建的环境是干净的，从而消除了交付过程当中的意外状况。

可是呢，在开发应用程序的过程当中，更重要的是要快速从新构建和测试，以检查验证过程当中的每一个中间步骤。为此，web应用程序的开发人员须要依赖于Flask等框架提供的自动重启功能（Debug模式下，修改代码自动重启）。而这一功能也能够在容器中使用。

为了启用自动重启，在启动Docker容器时将主机中的开发目录映射到容器中的app目录。这样Flask就能够监听主机中的文件变化(经过映射)来发现代码更改，并在检测到更改时自动重启应用程序。

此外，还须要将应用程序的端口从容器转发到主机。这是为了可以让主机上的浏览器访问应用程序。

所以，启动Dokcer容器时须要使用 volume-mapping 和 port-forwarding 选项：

docker run --name flask_app -v $PWD/app:/app -p 5000:5000 docker-flask:0.1

改命令将会执行如下操做:

基于以前构建的 docker-flask 镜像启动一个容器；
这个容器的名称被设置为 flask_app 。若是没有 ——name 选项，Docker将为容器生成一个名称。显式指定名称能够帮助咱们定位容器(用来中止等操做)；
-v 选项将主机的app目录挂载到容器；
-p 选项将容器的端口映射到主机。

如今能够经过http://localhost:5000 或者 http://0.0.0.0:5000/ 访问到应用:

若是咱们在容器运行的时候，修改应用程序代码，Flask会检测到更改并从新启动应用程序。

要中止容器的话，可使用 Ctrl + C, 并运行 docker rm flask_app 移除容器。

生产模式运行

虽然直接使用Flask裸跑运行应用程序对于开发来讲已经足够好了，可是咱们须要在生产中使用更健壮的部署方法。

目前主流的部署方案是 nginx + uwsgi，下面咱们将介绍如何为生产环境部署web应用程序。Nginx是一个开源web服务器，uWSGI是一个快速、自我修复、开发人员和系统管理员友好的服务器。

首先，咱们建立一个入口脚本，用来控制以开发模式仍是生产模式启动咱们的应用程序，这二者区别是选择直接运行python仍是nginx模式。

而后再写一个简单shell启动脚本 entry-point.sh:

#!/bin/bash

if [ ! -f /debug0 ]; then  
  touch /debug0

  while getopts 'hd:' flag; do
    case "${flag}" in
      h)
        echo "options:"
        echo "-h        show brief help"
        echo "-d        debug mode, no nginx or uwsgi, direct start with 'python3 app/app.py'"
        exit 0
        ;;
      d)
        touch /debug1
        ;;
      *)
        break
        ;;
    esac
  done
fi

if [ -e /debug1 ]; then  
  echo "Running app in debug mode!"
  python3 app/app.py
else  
  echo "Running app in production mode!"
  nginx && uwsgi --ini /app.ini
fi

而后建立uWSGI配置文件 app.ini:

[uwsgi]
plugins = /usr/lib/uwsgi/plugins/python3  
chdir = /app  
module = app:app  
uid = nginx  
gid = nginx  
socket = /run/uwsgiApp.sock  
pidfile = /run/.pid  
processes = 4  
threads = 2

和nginx配置文件 nginx.conf:

user nginx;
worker_processes  4;
pid /run/nginx.pid;

events {
    worker_connections  20000;
}

http {
    include    mime.types;
    sendfile on;
    keepalive_timeout  65;
    gzip off;

    server {
        listen 80;
        access_log off;
        error_log off;

        location / { try_files $uri @flaskApp; }
        location @flaskApp {
            include uwsgi_params;
            uwsgi_pass unix:/run/uwsgiApp.sock;
        }
    }
}

最后，修改Dockerfile 将nginx和uWSGI安装到镜像,将配置文件复制到镜像中,并设置运行nginx所需的用户权限:

FROM ubuntu:16.04

MAINTAINER jhao104 "j_hao104@163.com"

RUN apt-get update -y && \
    apt-get install -y python3-pip python3-dev && \
    apt-get install -y nginx uwsgi uwsgi-plugin-python3

COPY ./requirements.txt /requirements.txt
COPY ./nginx.conf /etc/nginx/nginx.conf

WORKDIR /

RUN pip3 install -r requirements.txt

COPY . /

RUN adduser --disabled-password --gecos '' nginx\
  && chown -R nginx:nginx /app \
  && chmod 777 /run/ -R \
  && chmod 777 /root/ -R

ENTRYPOINT [ "/bin/bash", "/entry-point.sh"]

而后从新打包镜像:

docker build -t docker-flask:0.1 .

而后使用nginx启动应用程序：

docker run -d --name flaskapp --restart=always -p 8091:80 docker-flask:0.1

该镜像包含python、ngix、uwsgi完整环境，只须要在部署时指定端口映射即可以自动部署应用。要中止并删除此容器，请运行下面命令：

docker stop flaskapp && docker rm flaskapp

此外，若是咱们仍然须要上面调试功能或修改部分代码，也能够像上面同样以调试模式运行容器:

docker run -it --name flaskapp -p 5000:5000 -v $PWD/app:/app docker-flask:0.1 -d debug

6.管理外部依赖

若是将应用程序做为容器交付时，须要记住的一个关键事项是，开发人员管理依赖项的责任增长了。除了识别和指定正确的依赖项和版本以外，还须要负责在容器环境中安装和设置这些依赖项。

在Python项目中管理安装依赖比较容易，可使用requirements.txt指定依赖项和对应版本，而后经过 pip 安装。

须要重申的是是，不管什么时候修改 requirements.txt 文件，都须要从新构建Docker镜像。

启动时安装依赖项

可能在某次版本更新时须要安装额外的依赖项。好比，在开发过程当中使用了一个新的包。若是不但愿每次都从新构建Docker镜像，或者但愿在启动时使用最新的可用版本。能够经过修改启动程序在应用程序启动时运行安装程序来实现这一点。

一样，咱们也能够安装额外的系统级包依赖项。修改 entry-point.sh:

#!/bin/bash

if [ ! -f debug0 ]; then
  touch debug0
  
  if [ -e requirements_os.txt ]; then
    apt-get install -y $(cat requirements_os.txt)
    
   fi
   if [-e requirements.txt ]; then
    pip3 install -r requirements.txt
   fi

  while getopts 'hd:' flag; do
    case "${flag}" in
      h)
        echo "options:"
        echo "-h        show brief help"
        echo "-d        debug mode, no nginx or uwsgi, direct start with 'python3 app/app.py'"
        exit 0
        ;;
      d)
        touch debug1
        ;;
      *)
        break
        ;;
    esac
  done
fi

if [ -e debug1 ]; then
  echo "Running app in debug mode!"
  python3 app/app.py
else
  echo "Running app in production mode!"
  nginx && uwsgi --ini /app.ini
fi

这样咱们能够在 requirements_os.txt 中指定将要安装的系统软件包名称，这些包名以空格分隔放在同一行。他们将和 requirements.txt 中的Python依赖库同样在应用程序启动以前安装。

尽管这样对应用的迭代开发期间提供了便利，可是出于几个缘由，在启动时安装依赖项不是一个好的实践：

它破坏了容器化的目标之一，即修复和测试因为部署环境的变化而不会改变的依赖关系；
增长了应用程序启动的额外开销，这将增长容器的启动时间；
每次启动应用程序时须要安装依赖项，这样对网络资源有要求。