用flask開發了服務端的api,過程中遇到了些坑,記錄部署上服務器的過程,以供后續使用。
安裝python3.6
本身服務器只安裝了python2,我需要安裝python3,所以就下載安裝python3.6,不能去動已安裝的python2.X
1.下載
wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz
2. 解壓
tar xvf Python-3.6.6.tar.xz
3.編譯安裝
進入目錄 ./configure
make && make install
python3源碼編譯已經自帶pip3
創建原生虛擬環境
也可以不用虛擬環境,如不用則跳過這步
cd /opt/app_server/your_project_name
python3 -m venv <venv_name>
# 比如: python3 -m venv test_venv
# 創建成功后,就會創建一個test_venv目錄,該目錄下就會有基礎的python3文件
# 最后激活虛擬環境:
source test_venv/bin/activate
# 激活成功后,會在控制臺中顯示虛擬環境的名稱。
安裝項目中需要的python 模塊
1.安裝模塊
# 先生成項目需要的模塊:我這使用pipreqs,如果沒有安裝先安裝: pip3 install pipreqs
# 這個工具的好處是可以通過對項目目錄的掃描,自動發現使用了那些類庫,自動生成依賴清單。缺點是可能會有些偏差,需要檢查并自己調整下。
# 進入本地項目目錄運行:
pipreqs ./
# 生成requirements.txt文件
# 把requirements.txt文件放到服務器上
pip3 install -r requirements.txt # 安裝相應模塊
2. 安裝cx_Oracle
# 項目中需要連接oracle數據庫,所以要安裝cx_Oracle:
pip3 install cx_Oracle
# 安裝時會檢查系統中Oracle Client libraries的配置,如果沒配置則會報錯。
# 所以需要先配置Oracle Client libraries:具體可見https://oracle.github.io/odpi/doc/installation.html#linux
# 配置完后,安裝不會報錯。要注意:下載的cx_Oracle安裝文件一定要跟pyhton的位數和版本一致,pyhton的位數最好是跟系統位數一致。
安裝配置測試Gunicorn
1. 安裝gunicorn
# 安裝gunicorn
pip3 install gunicorn
# 等待安裝完成
# 創建gunicorn存放日志文件夾,我這創建在項目目錄下,方便查找
sudo mkdir /opt/app_server/your_project_name/logs
# 更改權限
sudo chmod -R 777 /opt/app_server/your_project_name/logs
2.測試gunicorn
# 這個時候其實已經可以運行了,進入項目路徑下,運行:
gunicorn -b 0.0.0.0:8000 run:app
# run是flask的啟動python文件,app則是flask應用程序實例
# 通過gunicorn -h可以看到gunicorn有非常多的配置項
3.創建gunicorn配置文件
配置文件的配置詳解可以見:https://blog.csdn.net/y472360651/article/details/78538188
# -*- coding: utf-8 -*-
# 為了更好的管理gunicorn,通常會寫個config文件,在項目目錄下創建gunicorn_conf.py文件,內容如下
import os
import multiprocessing
# 獲取當前該配置文件的絕對路徑。gunicorn的配置文件是python文件,所以可以直接寫python代碼
path_of_current_file = os.path.abspath(__file__)
path_of_current_dir = os.path.split(path_of_current_file)[0]
chdir = path_of_current_dir
#workers = multiprocessing.cpu_count() * 2 + 1 # 可以理解為進程數,會自動分配到你機器上的多CPU,完成簡單并行化
workers = 1 # 我這里不用多進程
worker_class = 'sync' # 默認的worker的類型,如何選擇見:[http://docs](http://docs).[gunicorn.org/en/stable/design.html#choosing-a-worker-type](http://gunicorn.org/en/stable/design.html#choosing-a-worker-type)
bind = '0.0.0.0:18088' # 服務使用的端口
pidfile = '%s/gunicorn.pid' % path_of_current_dir # 存放Gunicorn進程pid的位置,便于跟蹤
accesslog = '%s/logs/gunicorn_access.log' % path_of_current_dir # 存放訪問日志的位置,注意首先需要存在logs文件夾,Gunicorn才可自動創建log文件
errorlog = '%s/logs/gunicorn_error.log' % path_of_current_dir # 存放錯誤日志的位置,可與訪問日志相同
reload = True # 如果應用的代碼有變動,work將會自動重啟,適用于開發階段
daemon = False # 是否后臺運行
debug = False
timeout = 5 # server端的請求超時秒數
loglevel = 'error'
4.用gunicorn配置文件啟動
gunicorn run:app -c your_path/gunicorn_conf.conf
# 可以看看日志是否啟動,嘗試訪問看是否成功。
5.重啟/關閉gunicorn進程
查看Gunicorn進程
pstree -ap|grep gunicorn
重啟Gunicorn任務
kill -HUP 7865
關閉Gunicorn任務
kill -9 7862
安裝配置supervisor做守護進程
雖然gunicorn在配置了daemon參數為True后,就是控制面板關閉后,進程也不會退出,但不會出錯后自動重啟等操作。所以還是需要使用supervisor做后臺守護。注意,如果要用supervisor管理gunicorn的,gunicorn的配置文件中一定要把daemon設置為False,如果配置daemon = True的話supervisor啟動就會報錯。所以但凡用supervisor管理的話,需要將守護進程模式改掉。
# 退出虛擬環境
deactivate
1.如果服務器中沒有安裝supervisor,先進行安裝
# yum的方式
# supervisor沒有發布在標準的CentOS源,需要安裝epel源。
# 這種方式安裝的可能不是最新版本,但比較方便,安裝完成之后,配置文件會自動幫你生成。
# 還有個問題,我發現用yum安裝的老版本(2.x的版本)配置文件里沒有[include]選項,手動添加也沒用,不知道是不是我沒配置好。
sudo yum install supervisor
# 我這使用easy_install的方式安裝
easy_install supervisor
# 安裝完后是沒有配置文件的,需要手動添加
echo_supervisord_conf > /etc/supervisord.conf
# 這里添加好的配置文件里有[include]選項,只是被注釋了。
2.配置supervisor 配置文件
默認配置文件有些地方是需要更改的。打開配置文件查看發現,supervisord.pid 以及 supervisor.sock 是放在 /tmp 目錄下,但是 /tmp 目錄是存放臨時文件,里面的文件是會被 Linux 系統刪除的,一旦這些文件丟失,就無法再通過 supervisorctl 來執行 restart 和 stop 命令了,會報錯,所以修改這些目錄:
[unix_http_server]
;file=/tmp/supervisor.sock ; (the path to the socket file)
;修改為 /var/run 目錄,避免被系統刪除
file=/var/run/supervisor.sock ; (the path to the socket file)
;chmod=0700 ; socket file mode (default 0700)
;chown=nobody:nogroup ; socket file uid:gid owner
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))
;[inet_http_server] ; inet (TCP) server disabled by default
;port=127.0.0.1:9001 ; (ip_address:port specifier, *:port for ;all iface)
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))
...
[supervisord]
;logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
;修改為 /var/log 目錄,避免被系統刪除
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10 ; (num of main logfile rotation backups;default 10)
loglevel=info ; (log level;default info; others: debug,warn,trace)
;pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
;修改為 /var/run 目錄,避免被系統刪除
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
...
;設置啟動supervisord的用戶,一般情況下不要輕易用root用戶來啟動,除非你真的確定要這么做
;user=chrism ; (default is current user, required if root)
...
[supervisorctl]
; 必須和'unix_http_server'里面的設定匹配
;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
;修改為 /var/run 目錄,避免被系統刪除
serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL for a unix socket
;serverurl=[http://127.0.0.1:9001](http://127.0.0.1:9001) ; use an http:// url to specify an inet socket
;username=chris ; should be same as http_username if set
;password=123 ; should be same as http_password if set
...
supervisor的配置參數較多,詳細的配置及說明,請參考官方文檔介紹,分號(;)開頭的配置表示注釋
為剛才創建的文件夾賦予權限:(如果指定了啟動用戶 user,那么應注意相關文件的權限問題,包括日志文件,否則會出現沒有權限的錯誤。)
sudo chmod 777 /var/run
sudo chmod 777 /var/log
include配置
# 我們有多個項目不想在默認配置文件里改,為了便于區分,可以自己創建一個配置文件,然后在默認的配置文件supervisord.conf里最后加上如下字段:
[include]
files = /etc/supervisor/*.conf
# *表示導入任何后綴為conf的文件,也可以指定文件名導入. 多個conf文件使用空格分開即可
# supervisor文件夾如果不存在可以自行創建,當然也可以放在其他任何可訪問的位置
在/etc/supervisor/下增加配置文件:my_job.conf
[program:my_job]
command=/opt/app_server/gunicorn_server_parkinglot/Envs/bin/gunicorn run:app -c /opt/app_server/gunicorn_server_parkinglot/my_job/gunicorn_conf.py
directory=/opt/app_server/gunicorn_server_parkinglot/my_job
autostart=true
autorestart=true
stopasgroup=true
stdout_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor.log
stderr_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor_err.log
使用瀏覽器管理
supervisor 同時提供了通過瀏覽器來管理進程的方法,只需要打開下面代碼的注釋就可以了。(就是把前面的;刪除,如果是遠程訪問的則把ip改成0.0.0.0)
[inet_http_server] ; inet (TCP) server disabled by default
port=0.0.0.0:9001 ; (ip_address:port specifier, *:port for ;all iface)
username=user ; (default is no username (open server))
password=123 ; (default is no password (open server))
3.命令
supervisord : 啟動supervisor
supervisorctl reload :修改完配置文件后重新啟動supervisor
supervisorctl status :查看supervisor監管的進程狀態
supervisorctl start 進程名 :啟動XXX進程
supervisorctl stop 進程名 :停止XXX進程
supervisorctl stop all:停止全部進程,注:start、restart、stop都不會載入最新的配置文件。
supervisorctl update:根據最新的配置文件,啟動新配置或有改動的進程,配置沒有改動的進程不會受影響而重啟
4.啟動
啟動supervisord后,可以訪問服務器IP地址:9001,輸入賬號密碼后就會看到管理界面。
PS : 我第一次啟動的時候報錯了:
2018-08-09 15:00:29,772 INFO gave up: my_job entered FATAL state, too many start retries too quickly
后來發現是因為前面說的gunicorn配置文件里,daemon參數忘記改回False了,故報錯。改回配置后,重啟還是失敗,看了下進程,原來之前supervisor報錯的時候其實gunicorn是已經啟動了,所以要先把已經啟動的gunicorn進程kill掉,然后重啟supervisor,OK!測試,通過!
后續
因為我的是接口API服務,沒有用到靜態文件,沒有對nginx進行說明,后面如有項目需要的可以再對nginx進行了解。
我這里沒有把supervisor設置為開機自動啟動,如有需要可參考https://blog.csdn.net/u011069013/article/details/73732855