使用nova管理docker的container,為了省事,沒想到踩到了不少坑。
第一坑
nova-docker的branch選擇,擔心有兼容問題,選擇了目前openstack的stable/kilo版本,但是在使用中,該版本支持的docker remote api版本只到 1.13 。完全不符合目前將設備節點映射到容器中的需求。
解決
對比了stable/liberty 版本和當前版本的差異,還在可手動處理的范圍呢,而且支持了docker remote api 的1.19版本。里面有了host-config接口 ,能夠傳遞較多的參數,比如現在需要devices接口。合并中比較順利,從/stable/kilo版本中簽出了一個dev分支,將/stable/liberty合并到當前版本,就是一些細致的活。需要對比調用接口的變化,如果目前使用的公共庫不支持,那就換回之前的版本。先對著git 的commit列了一個清單,挨個對比就好。對比中,開源軟件的改進有部分也太糙了,有些依賴說改就改(其實有很多完全沒有必要修改),但是基礎庫不能隨意發生版本變化, 因為不確定在新基礎庫上會發生什么情況。
基礎庫不能隨便動的前提下,采用手動合并新版本的方法是可行的,而且在使用中發現好多改動其實沒啥必要。還有就是先把改動列出來,一個一個對比,清晰明確
第二坑
映射驅動至container 內部,使用的device接口,傳入一個做了軟鏈接的文件路徑,實際的路徑指向了dev目錄下的設備節點。傳入后docker提示找不到文件,可是文件在本地真實存在。查詢后是docker的一個bug,對于軟鏈接的路徑無法識別。
解決
改用Python 中的OS.readlink 獲取真實路徑拼接,傳給docker
多看官方的文檔,特別是github中的issus,會有驚喜
第三坑
按照官方文檔說明,docker remote api的文檔格式,dict方式傳遞了參數,
args[devices] = { "PathOnHost": "/dev/deviceName", "PathInContainer": "/dev/deviceName", "CgroupPermissions": "mrw"}
但是docker提示error gathering device information while adding custom device “” ,lstat :no such file or directory
解決
增加打印調試,傳遞參數沒有問題。半天沒找到問題,最后看看nova-py的文檔[1]
。里面提到了使用"xx:xx:xx"格式,抱著試試的心態結果好了。
有時候需要看所有組件的文檔,出了問題第一時間在文檔中尋找答案
第四坑
掛載 volumes ,在docker命令行就是簡單的一個-v就能搞定的事情,但是在調用api顯示的時候就會比較麻煩,需要在create時,將 volumes中設置好host上的路徑。然后在binds 中傳遞進去綁定的規則。(這里我沒傳遞dict,直接傳了一個list。)container啟動后,docker inspect查看,發現volumes已經有了相關信息,binds信息也有了,但是docker exec xxx /bin/sh 后還是沒能成功映射目錄。
解決
最后抱著試試的心態,將之前binds中的host和container位置換了一下,問題解決了。最后結構如下:
{0}:/var/log/mysql/:rw'.format(args['volumes’])
前面的才是host路徑,中間的是container路徑。
不要隨便就經驗思維認為順序就是這樣,可以查文檔,可以找,再不濟,也可以手動嘗試。
- nova-py文檔 (http://docker-py.readthedocs.org/en/latest/)
- nova-remote-api (https://docs.docker.com/engine/reference/api/docker_remote_api_v1.19/)