Fanzhh's Blog
0%

使用docker封装古董python web.py + postgresql应用

Posted on Edited on In

So，6年之前使用python2的web.py框架+postgresql搭建的项目，今年年初起停止使用，但偶尔地又需要访问一下数据。大家都知道搭建项目环境多么难，在这台电脑上运行得好好的，换台电脑出现各种错误。近期开始学习docker，相见恨晚哪。于是有了这篇边学习边实践的笔记。

web.py项目

requirements.txt文件

主程序名称为index.py，运行中需使用3个包，pip freeze > requirements.txt，内容如下：

1
2
3
psycopg2==2.8.3
pygal==2.4.0
web.py==0.39

Dockerfile文件

在web.py项目目录下新建Dockerfile文件，内容如下：

1
2
3
4
5
6
7
8
9
10
FROM python:2.7

COPY requirements.txt /code/
WORKDIR /code/
RUN pip install -r requirements.txt

COPY . /code/

ENTRYPOINT ["python"]
CMD ["index.py"]

第1行FROM python:2.7，指明使用python:2.7镜像。
第2行拷贝requirements.txt文件到Docker的/code/目录。
第3行指明/code/为工作目录。
第4行在docker中安装需要的包。
第5行拷贝当前目录下所有文件到docker工作目录中。
第6行、第7行指明启动python index.py。

建立image

在web.py项目目录下，输入(jifdaypk_mini是image名称)：

1
$ docker build -t jifdaypk_mini:latest .

会有一系列输出，最后出现这个，说明创建成功：
1
Successfully tagged jifdaypk_mini:latest

执行docker image ls，应该能够看到刚刚创建的image了。

运行容器

输入：

1
$ docker run -p 8080:8080 jifdaypk_mini

回车，打开浏览器输入：localhost:8080，浏览器出现internal server error提示。看命令行，出现一大坨错误，其中一行内容是：
1
2
3
OperationalError: could not connect to server: No such file or directory
	Is the server running locally and accepting
	connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?

这就对了，因为我还没有配置postgresql嘛。

配置postgres

拉取postgres

因为我使用postgres的版本为9.5，所以拉取：

1
$ docker pull postgre:9.5

命令之后成功后，使用docker image ls，应该可以看到postgres:9.5的镜像了。

执行postgres容器

命令行输入：

1
$ docker run postgres:9.5

一大坨输出之后，出现PostgreSQL init process complete; ready for start up.说明容器运行成功，Ctrl+C退出。

导入数据

原来项目中的数据需要导入postgres中，原导出的格式为pd_dump生成的sql文件。

前提

要在本机和docker容器之间传输文件，需明白3个前提：

  1. 每个docker容器都有自己的卷（volumes），将它们想象为你本机的磁盘就好。
  2. 可以在本机上执行容器中的命令，格式为：`docker exec <容器名字> <你的命令>。
  3. 当你打算在容器中运行操作具体文件的命令，这些文件应该在容器自身的卷(volumes)中。

找到运行postgres实例的容器名字

1
$ docker ps

找到这个容器中的卷

1
$ docker inspect -f '{{ json .Mounts }}' <容器id> | python -m json.tool

结果：

1
2
3
4
5
6
7
8
9
10
11
12
[
    {
        "Type": "volume",
        "Name": "a515c798849fd4e2e79a24ce16dc0d",
        "Source": "/mnt/docker-data/volumes/a51fd60a2c9a10438849fd4e2e79a24ce16dc0d/_data",
        "Destination": "/var/lib/postgresql/data",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
]

那么，/var/lib/postgresql/data便是我们要找的卷路径。

拷贝备份文件到卷上

于是我运行：

1
$ docker cp 2019_07_22_16_11.sql <容器id>:/var/lib/postgresql/data/

创建用户和数据库

创建用户：

1
$ docker exec -it <容器id> psql -U postgres -c "create user user1 with password '123456';"

创建数据库：
1
$ docker exec -it <容器id> psql -U postgres -c "create database mydb with owner 'fanzhh' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;"

导入数据

按照google的教程，应该将备份文件拷贝到卷中后导入，其实不拷贝备份文件，以下方式也可导入。

1
$ cat 2019_07_22_16_11.sql | docker exec -i aa06d5a52006 psql -U user1 -d mydb

试一下看看导入成功没：
1
2
3
4
5
$ docker exec -it <容器id> psql -U user1 -d mydb -c "select id,check_date from checkrecord limit 1;"
 id  | check_date 
-----+------------
 158 | 2013-06-20
(1 row)

可以说非常OK了。

使用docker-compose多容器协作

虽然上一步导入数据到postgres了，但不要高兴太早，结束容器再重启之后，数据消失无影了。因为容器是动态存在的，kill之后，容器内的一切数据不再存在。若要永久保存，需要将容器的volume映射到本地。以上分别建立的image之间并没什么关系，现在要用到docker-compose神器，部署多容器之间协作了。

docker-compose文件

在web.py项目目录下新建docker-compose文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
version: '2'

services:
  db:
    image: postgres:9.5
    container_name: postgres_ypk
    restart: always
    environment:
        - POSTGRES_USER=${POSTGRES_USER}
        - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
        - POSTGRES_DB=${POSTGRES_DB}
    volumes:
        - ./postgres-data/postgres:/var/lib/postgresql/data
    ports:
        - "5432:5432"

  web:
    build: .
    entrypoint: ["python", "index.py"]
    restart: always
    volumes:
      - .:/code
    ports:
      - "8080:8080"
    depends_on:
      - db

db的volumes将本地文件夹映射至容器卷中，实现数据永久保存。注意db中environment的内容，在相同目录下新建.env文件存放环境变量：
1
2
3
POSTGRES_USER=user1
POSTGRES_PASSWORD=123456
POSTGRES_DB=mydb

docker-compose建立和运行

输入以下命令建立docker-compose：

1
$ docker-compose build

输入以下命令运行docker-compose：
1
$ docker-compose up

会出现一坨结果，大意是说db和web分别启动了。

再次导入数据

我们访问数据库容器：

1
$ docker exec -ti <容器id> bash

进入容器操作界面，输入：
1
$ psql -U user1 mydb

进入数据库界面，输入：
1
mydb=# create database mydb2 with owner 'user1' encoding 'UTF8' lc_collate='en_US.UTF-8' lc_ctype='en_US.UTF-8' TEMPLATE template0;

建立数据库。为什么不直接用mydb?因为数据库内容有中文，新建数据库指定utf8放心。
退出数据库界面，退出容器界面，输入：
1
$ cat 2019_07_22_16_11.sql | docker exec -i <容器id> psql -U user1 -d mydb2

导入数据。关掉docker-compose，重启，再次访问数据库，数据依然在，OK。

但现在， 浏览器访问localhost:8080依然显示internal server error。不慌，慢慢解决。

明明postgres容器已经启动，在本地使用psql -h localhost -U user1 -d mydb可以访问数据，但localhost:8080页面始终无法访问，后台显示错误：

1
2
3
could not connect to server: Cannot assign requested address
web_1  | 	Is the server running on host "localhost" (::1) and accepting
web_1  | 	TCP/IP connections on port 5432?

（1天时间过去了。。。）

终于在这个地方发现问题所在，我原来的连接参数为：

1
2
3
4
5
6
7
8
db=web.database(
    dbn='postgres',
    host='localhost',
    db='ypkdb2',
    user='fanzhh',
    password='56805696',
    port='5432'
)

修改host内容，将localhost改为容器名字，问题解决！

python镜像安装app

应用中需要用到abiword，镜像默认没有安装这个应用，报错，于是：

1
2
docker exec -it 4351e2d268de apt-get update
docker exec -it 4351e2d268de apt-get install abiword

OK。

上传镜像

我使用的滴滴云容器服务器，先登陆：

1
docker login --username=<仓库用户名> hub.didiyun.com

输入密码。

将公共镜像改为似有镜像：

1
docker tag [镜像名称:Tag]或[镜像ID] hub.didiyun.com/[命名空间]/[仓库名称]:[版本号（Tag）]

推送标志好的镜像到镜像仓库：
1
docker push hub.didiyun.com/[命名空间]/[仓库名称]:[版本号（Tag）]

参考

  1. How to Restore Database Dumps for Postgres in Docker Container