字符編碼
為什么Python使用過程中會出現各式各樣的亂碼問題,明明是中文字符卻顯示成“/xe4/xb8/xad/xe6/x96/x87”的形式?為什么會報錯“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”?本文就來研究一下這個問題。
字符串在Python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字符串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼。
decode的作用是將其他編碼的字符串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字符串str1轉換成unicode編碼。
encode的作用是將unicode編碼轉換成其他編碼的字符串,如str2.encode('gb2312'),表示將unicode編碼的字符串str2轉換成gb2312編碼。
因此,轉碼的時候一定要先搞明白,字符串str是什么編碼,然后decode成unicode,然后再encode成其他編碼
#!/usr/bin/env python
#coding=utf-8
s="中文"
if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')
原文:https://blog.csdn.net/lxdcyh/article/details/4018054
正則過濾emoji
import re
text = '??佛渡有緣人【引流】QQ:1099615807 微信:CL8887888/.,s,,,,,.。。。。????'
myre = re.compile(ur"[^A-Za-z0-9\s\r\t\n\u4e00-\u9fa5\uff08\u3008\u300a\u300c\u300e\ufe43\u3014\u2026\uff5e\uffe5\u3010\uff0c\uff1f\uff1a\u201c\u2018\uff09\u3009\u300b\u300d\u300f\ufe44\u3015\u2014\ufe4f\u3001\u3011\u3002\uff01\uff1b\u201d\u2019\[\]\(\){}\|\"\:<>~`!@#$%&*?,./:]")
cleanEmoji = myre.sub(u'[emoji]', text)
print cleanEmoji
// 輸出 [emoji][emoji]佛渡有緣人【引流】QQ:1099615807[emoji]微信:CL8887888/.,s,,,,,.。。。。
上面的例子用于存數據進sqlite3數據庫時將emoji過濾,因為找了很久都沒找到將emoji存進數據庫的方法,在其他數據庫可以將編碼格式換成utf-8mb4便可以存儲emoji。上面正則的意思是匹配 數字、字母、中文、中英文的標點符號 以外的文本。
os操作
os.path.join(str1,str2)
: 用于拼接兩個文件路徑,在windows下可以補齊 \
,在Linux下自動補齊/
,這樣可以避免在不同操作系統環境下路徑不對的坑。
os.path.exists(path)
: 判斷該路徑是否存在,一般用來判斷文件是否存在
os.system
: 執行終端命令
os.remove
: 刪除文件
os.removedirs
: 刪除空的文件夾
# 刪除非空文件夾
import shutil
shutil.rmtree(path)