本文記錄Ubuntu 16.04 上使用Nginx、 Gunicorn、supervisor 部署django項目
準備工作:
- Ubuntu16.04安裝Python3.6
Ubuntu16.04默認安裝了Python2.7和3.5,但是我的項目是在mac系統調試完成,而mac系統安裝了python3.6,為了兩端保持調試一直,我決定把ubuntu上的python升級到3.6
請注意,系統自帶的python千萬不能卸載!
sudo add-apt-repository ppa:jonathonf/python-3.6
sudo apt-get update
sudo apt-get install python3.6
sudo apt-get install python3.6-dev
調整Python3的優先級,使得3.6優先級較高,python3的默認版本就是python3.6
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.5 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 2
更改默認值,python默認為Python2,現在修改為Python3,但是不建議更改
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
如果需要通過pip命令單獨為python3安裝某些包,可不必修改系統默認的python環境,我們安裝pip3 即可
sudo apt-get install python3-pip
安裝完成后,通過pip3安裝即可
注意:如果已經安裝了python3.6后,安裝python3.6-dev時,各種報錯,請升級python3.6.
- 創建一個django項目
我的項目托管在github,配置在新的服務器時,通過git clone即可,這里把項目clone在
/var/www
目錄下,這里放所有web項目的根目錄。
更改/var/www
權限為www-data,以免每次都是用root權限去操作/var/www目錄
- 更改/var/www目錄權限為www-data
首先,確保我的用戶名包含在 www-data 組中。 如果沒有,你可以將你的用戶名添加為 www-data 組
sudo adduser $USER www-data
之后,你應該將/var/www的所有權更改為你的用戶名
sudo chown $USER:www-data -R /var/www
下一步,對于常規實踐,你應該更改權限為 755 ( rwxr-xr-x ),而不建議將權限更改為 777,因為安全性原因
sudo chmod u=rwX,g=srX,o=rX -R /var/www
下面是設置前后的權限截圖
- 創建一個python3虛擬環境
mkvirtualenv -p /usr/bin/python3 blogapi
- 激活虛擬環境
這里跳過準備工作,假設我已經有了一個項目DjangoBlog
和一個虛擬環境alpfaceblog
創建數據庫
登錄mysql創建一個數據庫,這里創建一個名稱為blog數據庫:
mysql -uroot -p
create database blog charset=utf8;
配置DjangoBlog/setting.py
中數據庫 相關配置,如下所示:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'blog',
'USER': 'root',
'PASSWORD': 'root',
'HOST': 'host',
'PORT': 3306,
}
}
安裝配置gunicorn
- 首先切換到項目的虛擬環境
workon alpfaceblog
- 創建數據庫
python manage.py makemigrations
python manage.py migrate
- 創建超級用戶
python manage.py createsuperuser
- 收集靜態文件
python manage.py collectstatic --noinput
python manage.py compress --force
- 在虛擬環境中安裝gunicorn
pip install django gunicorn
- 把 gunicorn 加入項目settings.py中的 INSTALLED_APPS
INSTALLED_APPS = (
# ...
'gunicorn',
)
- 測試gunicorn是否可以正常工作
cd /var/www/Blog
sudo gunicorn -b 0.0.0.0:8888 --worker-class=gevent DjangoBlog.wsgi:application
- 配置生產環境下的gunicorn
創建一個bash腳本用于快速啟動gunicorn的
在項目目錄下創建一個文件夾bin,然后創建gunicorn_start文件
sudo vim gunicorn_start
添加以下內容,注意路徑需要根據實際情況替換
#!/bin/bash
NAME="DjangoBlog" # 項目的名稱
DJANGODIR=/var/www/Blog # 項目所在的目錄
SOCKFILE=/var/www/Blog/run/gunicorn.sock # 啟動gunicorn.sock使用UNIX套接字
USER=root # the user to run as
GROUP=root # the group to run as
NUM_WORKERS=3 # how many worker processes should Gunicorn spawn
DJANGO_SETTINGS_MODULE=DjangoBlog.settings # which settings file should Django use
DJANGO_WSGI_MODULE=DjangoBlog.wsgi # WSGI module name
echo "Starting $NAME as `whoami`"
# 啟動虛擬環境的路徑
cd $DJANGODIR
source /home/parallels/.virtualenvs/alpfaceblog/bin/activate
export DJANGO_SETTINGS_MODULE=$DJANGO_SETTINGS_MODULE
export PYTHONPATH=$DJANGODIR:$PYTHONPATH
# Create the run directory if it doesn't exist
RUNDIR=$(dirname $SOCKFILE)
test -d $RUNDIR || mkdir -p $RUNDIR
# Start your Django Unicorn
# gunicorn 安裝在虛擬環境下的完整路徑
exec /home/parallels/.virtualenvs/alpfaceblog/bin/gunicorn ${DJANGO_WSGI_MODULE}:application \
--name $NAME \
--workers $NUM_WORKERS \
--user=$USER --group=$GROUP \
--bind=unix:$SOCKFILE \
--log-level=debug \
--log-file=-
添加可執行權限: sudo chmod u+x bin/gunicorn_start
啟動gunicorn
./bin/gunicorn_start
- 查看給項目配置的gunicorn_start是否啟動了項目
sudo pstree -ap|grep gunicorn
如果顯示有進程,則說明已經啟動,如下:
root@ubuntu:/etc/supervisor# sudo pstree -ap|grep gunicorn
| | | | | |-grep,16796 --color=auto gunicorn
| `-gunicorn,16776 /home/parallels/.virtualenvs/blogapi/bin/gunicorn BlogApi.wsgi:application --nameB
| |-gunicorn,16781 /home/parallels/.virtualenvs/blogapi/bin/gunicorn BlogApi.wsgi:application --nameB
| |-gunicorn,16785 /home/parallels/.virtualenvs/blogapi/bin/gunicorn BlogApi.wsgi:application --nameB
| `-gunicorn,16787 /home/parallels/.virtualenvs/blogapi/bin/gunicorn BlogApi.wsgi:application --nameB
此時可以通過瀏覽器訪問試試
- 關閉gunicorn 進程
sudo kill -9 上面查詢的第一個pid
如果配置了supervisor管理gunicorn進程啟動,則會在殺死后自動重啟
安裝并配置supervisor
Superviosr是一個進程監管的工具。簡而言之,Superviosr可以保證你的程序在服務器開機時自動啟動以及程序意外終止時重新啟動。
- 安裝
sudo apt-get install supervisor
- 配置
supervisor的配置文件默認從
/etc/supervisor/conf.d
中讀取
cd /etc/supervisor/conf.d
創建并編輯一個supervisor的配置文件
sudo vim alpfaceblog.conf
添加下面內容,注意路徑需要根據實際情況替換
[program:DjangoBlog]
command = /var/www/Blog/bin/django_start
user = root
autostart=true
autorestart=true
redirect_stderr = true
stdout_logfile = /root/logs/blog/robot.log
stderr_logfile=/root/logs/blog/err.log
手動創建日志目錄:
mkdir -p /root/logs/blog
通過supervisorctl工具來啟用這些設置:
sudo supervisorctl update
sudo supervisorctl reload
啟動
supervisord -c /etc/supervisor/supervisord.conf
查看supervisord進程
ps aux | grep supervisord
查看日志,是否啟動
cat /tmp/supervisord.log
每次修改配置文件后需進入supervisorctl,執行reload。 supervisord : supervisor的服務器端部分,用于supervisor啟動 supervisorctl:啟動supervisor的命令行窗口,在該命令行中可執行start、stop、status、reload等操作。
這里我遇到了Supervisor啟動錯誤信息:
- 問題1:
pkg_resources.DistributionNotFound: The 'supervisor==3.2.0' distribution was
解決方法:
這是由于我把ubuntu的python默認環境改成3.5的了,其實再改回2.7就好了
切換Python版本
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 200
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 100
- 問題2:
supervisor 執行 django項目中的gunicorn_start失敗
解決步驟:
查看`/var/log/supervisor/supervisord.log`,錯誤為: `exit status 127; not expected`
查詢suspervisord配置的項目日志/root/logs/blogapi/robot.log
顯示以下錯誤
supervisor: couldn't exec /var/www/blogapi/bin/gunicorn_start: ENOEXEC
解決方法:
在stackoverflow中找到了答案,在項目的gunicorn_start文件頂部添加#!/bin/sh
,其實我添加的是#!/bin/bash
,我將它改為#!/bin/sh
,再次執行sudo supervisorctl reload
問題解決。
- 問題3:
執行sudo supervisorctl update
時報錯:root@ubuntu:/var/www/blogapi# sudo supervisorctl update error: <class 'xmlrpclib.Fault'>, <Fault 92: "CANT_REREAD: The directory named as part of the path /root/logs/blogapi/robot.log does not exist. in section 'program:BlogApi' (file: '/etc/supervisor/conf.d/blogapi.conf')">: file: /usr/lib/python2.7/xmlrpclib.py line: 800
解決方法:
啟動supervisord
supervisord -c /etc/supervisor/supervisord.conf
- 問題4:
每次supervisord reload 或者 啟動 都會報錯:
Error: The directory named as part of the path /root/logs/blogapi/robot.log does not exist. in section 'program:BlogApi' (file: '/etc/supervisor/conf.d/blogapi.conf')
解決方法:
出現這個錯誤,是提示/root/logs/blogapi/robot.log
文件不存在,查看下/root/logs/blogapi/目錄確實不存在,創建mkdir /root/logs/blogapi/
,然后重新啟動或者reload即可
安裝并配置nginx
- 安裝nginx
sudo apt-get install nginx
- ubantu安裝完Nginx后,文件結構大致為:
- 所有的配置文件都在 /etc/nginx下;
- 啟動程序文件在 /usr/sbin/nginx下;
- 日志文件在 /var/log/nginx/下,分別是access.log和error.log;
- 并且在 /etc/init.d下創建了啟動腳本nginx。
以下為nginx常用的命令
sudo /etc/init.d/nginx start # 啟動
sudo /etc/init.d/nginx stop # 停止
sudo /etc/init.d/nginx restart # 重啟
- 配置nginx
配置Nginx 為我們的Django應用創建一個配置文件/etc/nginx/sites-available/alpfaceblog.conf
sudo vim alpfaceblog.conf
刪除/etc/nginx/sites-available中default文件,/etc/nginx/sites-enabled中的default軟連接也一并刪除,不然瀏覽器訪問的可能是nginx的默認頁面。
添加以下內容,注意:如果配置多個項目的nginx conf文件時,conf中的upstream 名稱(my_server)不要重復,不然nginx啟動時會報錯
upstream my_server {
server unix:/var/www/Blog/run/gunicorn.sock fail_timeout=0;
}
server {
listen 80;
server_name localhost;
large_client_header_buffers 4 16k;
client_max_body_size 300m;
client_body_buffer_size 128k;
proxy_connect_timeout 600;
proxy_read_timeout 600;
proxy_send_timeout 600;
proxy_buffer_size 64k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
root /var/www/Blog;
keepalive_timeout 70;
access_log /var/log/nginx/django_access.log;
error_log /var/log/nginx/django_error.log;
location /static {
expires max;
alias /var/www/Blog/collectedstatic/;
}
location /media {
alias /var/www/Blog/media/;
}
location / {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
if (!-f $request_filename) {
proxy_pass http://my_server;
break;
}
}
}
- 讓nginx的配置文件生效
sudo ln -s /etc/nginx/sites-available/alpfaceblog.conf /etc/nginx/sites-enabled/alpfaceblog.conf
- 重啟nginx服務器
sudo service nginx restart
- nginx 配置多個域名訪問不同的項目
在不同的nginx conf文件下,添加server_name 為不同的域名,并設置listen 為同一斷開80,
比如weather.conf
server {
listen 80;
server_name enba.com;
.....
}
再比如blog.conf
server {
listen 80;
server_name objc.com;
.....
}
- 當項目的nginx conf文件配置完成完成,nginx運行正常且可reload,但是就是無法通過瀏覽器訪問時,此時要檢查
sites-available
下的.conf文件命名是否為.conf結尾,另外還有sites-enabled
下的軟連接文件是否正常或者為.conf結尾。 - 當在
sites-available
中刪除某個.conf文件時,sites-enabled
下的軟連接也要刪除,進入到sites-enabled目錄下,rm -rf 即可。
問題:
nginx遇見的問題
1.最近在訪問部分頁面時,速度經常非常慢,導致報502 Bad Gateway
錯誤
解決方法:
查看nginx的錯誤日志,我是配置在error_log /var/log/nginx/django_error.log;
下
日志中我發現了兩個問題,第一個問題:
ubuntu@ip-172-31-17-237:/var/log/nginx$ cat django_error.log
2018/02/24 09:10:43 [error] 1132#1132: *72 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 66.249.64.22, server: www.alpface.com, request: "GET /article/2018/1/20/1.html HTTP/1.1", upstream: "http://unix:/var/www/Blog/run/gunicorn.sock/article/2018/1/20/1.html", host: "www.alpface.net"
2018/02/24 09:22:42 [error] 1132#1132: *87 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 222.249.170.75, server: www.alpface.com, request: "POST /admin/blog/article/add/ HTTP/1.1", upstream: "http://unix:/var/www/Blog/run/gunicorn.sock/admin/blog/article/add/", host: "alpface.com", referrer: "http://alpface.com/admin/blog/article/add/"
通過網友的各種嘗試,我決定試一試,最終解決了,解決方法:
這是由于,NGINX反向代理的超時報錯:
ubuntu@ip-172-31-17-237:/var/log/nginx$ cd /etc/nginx/sites-available/
ubuntu@ip-172-31-17-237:/etc/nginx/sites-available$ sudo vi alpfaceblog.conf
在網站的配置文件中添加以下,并重啟nginx
server {
listen 80;
server_name localhost;
large_client_header_buffers 4 16k;
client_max_body_size 300m;
client_body_buffer_size 128k;
proxy_connect_timeout 600;
proxy_read_timeout 600;
proxy_send_timeout 600;
proxy_buffer_size 64k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
#.............................
}
重啟:sudo /etc/init.d/nginx restart
第二個問題:
查看錯誤日志可以看到:/var/www/Blog/media//
, media后面多了一個/, 這是由于nginx配置文件中的資源文件路徑寫錯了導致的,修改下我的配置文件,重啟nginx解決;
ubuntu@ip-172-31-17-237:/var/log/nginx$ cat django_error.log
2018/03/05 06:44:04 [error] 3493#3493: *1 upstream prematurely closed connection while reading response header from upstream, client: 222.249.170.75, server: localhost, request: "GET /article/2018/2/28/38.html HTTP/1.1", upstream: "http://unix:/var/www/Blog/run/gunicorn.sock:/article/2018/2/28/38.html", host: "www.alpface.com", referrer: "http://www.alpface.com/login/?next=/article/2018/2/28/38.html"
2018/03/05 06:51:16 [error] 3493#3493: *33 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/article/edit/?aid=32"
2018/03/05 06:51:26 [error] 3493#3493: *32 open() "/var/www/Blog/collectedstatic//blog/img/favicon.ico" failed (2: No such file or directory), client: 222.249.170.75, server: localhost, request: "GET /static/blog/img/favicon.ico HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/article/edit/?aid=32"
2018/03/05 06:56:05 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/article/list/"
2018/03/05 06:56:09 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/message/comment/"
2018/03/05 06:56:11 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/message/os/"
2018/03/05 06:56:12 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/message/comment/"
2018/03/05 06:56:15 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/visitor/"
2018/03/05 06:56:18 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/link/"
2018/03/05 06:56:23 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/profile/"
2018/03/05 06:56:37 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/profile/"
2018/03/05 06:56:40 [error] 3493#3493: *41 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/profile/"
2018/03/05 06:56:41 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/link/"
2018/03/05 06:56:43 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/profile/"
2018/03/05 06:56:45 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/article/add/"
2018/03/05 06:56:52 [error] 3493#3493: *39 directory index of "/var/www/Blog/media//" is forbidden, client: 222.249.170.75, server: localhost, request: "GET /media/ HTTP/1.1", host: "www.alpface.com", referrer: "http://www.alpface.com/admin/"
執行數據庫遷移時遇見的問題
當修改或新增model後, 執行python manage.py makemigrations,未生成遷移:
解決方法:
刪除每個app文件下migrations文件中除了init.py的所有文件,然後再執行python manage.py makemigrations
重新生成遷移數據庫遷移時遇見的問題:
錯誤信息:
django.db.utils.InternalError: (1054, "Unknown column 'name' in 'django_content_type'")
解決方法:
在數據庫中手動添加沒有創建的字段
alter table django_content_type add column name varchar(10)
- 遷移數據庫python manage.py migrate時出錯:
django.db.utils.InternalError: (1050, "Table 'auth_permission' already exists")
解決方法:
python manage.py migrate --fake
但是此種方法會忽略一些錯誤,導致最終還是不能解決我們的遷移的問題
- ModuleNotFoundError: No module named 'apt_pkg'
升級到python3.6會導致python庫的引用產生混亂,然后python3的軟鏈接也被我改成指向最新版本了。
解決方法:
先選擇刪除python-apt
apt-get remove --purge python-apt
安裝python-apt
apt-get install -f -y python-apt
拷貝python3.5的apt-pkg.so 名重名為python3.6的apt-pkg.so
cd /usr/lib/python3/dist-packages/
sudo cp apt_pkg.cpython-3?m-x86_64-linux-gnu.so apt_pkg.cpython-36m-x86_64-linux-gnu.so
總結:
我的blog項目是在我的本地電腦ubuntu系統上開發並測試的,然後提交到github上,最後部署到亞馬遜服務器時,通過git命令clone到服務器上;
期間我在本地修改或創建了一些model,這時我在本地生成遷移和遷移時都沒有,但是在服務端遷移總是報錯,導致遷移失敗;
原因:在網上查找各種資料最終都沒有解決,最後我發覺項目的.gitignore中忽略了migrations文件,而每次改變model或新增model時,都會生成一個000n_.py文件,每次改變n都會加1,
此時我的數據庫也會在遷移時發生改變,而當我在服務器執行遷移時,服務器端沒有migrations文件,每次遷移都會重新生成,那麼和本地執行時機不同,所以會需要每次執行遷移時,會根據migrations執行的結果也不同;
解決方法:當然我們可以在gitignore中取消這些忽略文件, 另外當我們在服務器段執行遷移遇到文件時,我們可以把本地的0001_initial.py中的復制到服務端對應的這個文件再執行python manage.py makemigrations
和python manage.py migrate