問(wèn)題
在數(shù)據(jù)分析并存儲(chǔ)到數(shù)據(jù)庫(kù)時(shí)，Python的Pandas包提供了to_sql 方法使存儲(chǔ)的過(guò)程更為便捷，但如果在使用to_sql方法前不在數(shù)據(jù)庫(kù)建好相對(duì)應(yīng)的表，to_sql則會(huì)默認(rèn)為你創(chuàng)建一個(gè)新表，這時(shí)新表的列類型可能并不是你期望的。例如我們通過(guò)下段代碼往數(shù)據(jù)庫(kù)中插入一部分?jǐn)?shù)據(jù)：
import pandas as pd
from datetime import datetime
df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]],
columns=['str', 'int', 'float', 'datetime', 'boolean'])
print(df.dtypes)
通過(guò)dtypes可知數(shù)據(jù)類型為object, int64, float64, datetime64[ns], bool
如果把數(shù)據(jù)通過(guò)to_sql方法插入到數(shù)據(jù)庫(kù)中：
from sqlalchemy import create_engine
engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format('username', 'password', 'host:port', 'database'))
con = engine.connect()
df.to_sql(name='test', con=con, if_exists='append', index=False)
用MySQL的desc可以發(fā)現(xiàn)數(shù)據(jù)庫(kù)自動(dòng)創(chuàng)建了表并默認(rèn)指定了列的格式：
# 在MySQL中查看表的列類型
desc test;
| Filed | Type | Null | Key | Default | Extra |
|---|---|---|---|---|---|
| str | text | YES | NULL | ||
| int | bigint(20) | YES | NULL | ||
| float | double | YES | NULL | ||
| datetime | datetime | YES | NULL | ||
| boolean | tinyint(1) | YES | NULL |
其中str類型的數(shù)據(jù)在數(shù)據(jù)庫(kù)表中被映射成text，int類型被映射成bigint(20)， float類型被映射成double類型。數(shù)據(jù)庫(kù)中的列類型可能并非是我們所期望的格式，但我們又不想在數(shù)據(jù)插入前手動(dòng)的創(chuàng)建數(shù)據(jù)庫(kù)的表，而更希望根據(jù)DataFrame中數(shù)據(jù)的格式動(dòng)態(tài)地改變數(shù)據(jù)庫(kù)中表格式。
分析
通過(guò)查閱pandas.DataFrame.to_sql的api文檔[1]，可以通過(guò)指定dtype 參數(shù)值來(lái)改變數(shù)據(jù)庫(kù)中創(chuàng)建表的列類型。
dtype : dict of column name to SQL type, default None
Optional specifying the datatype for columns. The SQL type should be a SQLAlchemy type, or a string for sqlite3 fallback connection.
根據(jù)描述，可以在執(zhí)行to_sql方法時(shí)，將映射好列名和指定類型的dict賦值給dtype參數(shù)即可上，其中對(duì)于MySQL表的列類型可以使用SQLAlchemy包中封裝好的類型。
# 執(zhí)行前先在MySQL中刪除表
drop table test;
from sqlalchemy.types import NVARCHAR, Float, Integer
dtypedict = {
'str': NVARCHAR(length=255),
'int': Integer(),
'float' Float()
}
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)
更新代碼后，再查看數(shù)據(jù)庫(kù)，可以看到數(shù)據(jù)庫(kù)在建表時(shí)會(huì)根據(jù)dtypedict中的列名來(lái)指定相應(yīng)的類型。
desc test;
| Filed | Type | Null | Key | Default | Extra |
|---|---|---|---|---|---|
| str | varchar(255) | YES | NULL | ||
| int | int(11) | YES | NULL | ||
| float | float | YES | NULL | ||
| datetime | datetime | YES | NULL | ||
| boolean | tinyint(1) | YES | NULL |
答案
通過(guò)分析，我們已經(jīng)知道在執(zhí)行to_sql的方法時(shí)，可以通過(guò)創(chuàng)建一個(gè)類似“{"column_name"：sqlalchemy_type}”的映射結(jié)構(gòu)來(lái)控制數(shù)據(jù)庫(kù)中表的列類型。但在實(shí)際使用時(shí)，我們更希望能通過(guò)pandas.DataFrame中的column的數(shù)據(jù)類型來(lái)映射數(shù)據(jù)庫(kù)中的列類型，而不是每此都要列出pandas.DataFrame的column名字。
寫(xiě)一個(gè)簡(jiǎn)單的def將pandas.DataFrame中列名和預(yù)指定的類型映射起來(lái)即可：
def mapping_df_types(df):
dtypedict = {}
for i, j in zip(df.columns, df.dtypes):
if "object" in str(j):
dtypedict.update({i: NVARCHAR(length=255)})
if "float" in str(j):
dtypedict.update({i: Float(precision=2, asdecimal=True)})
if "int" in str(j):
dtypedict.update({i: Integer()})
return dtypedict
只要在執(zhí)行to_sql前使用此方法獲得一個(gè)映射dict再賦值給to_sql的dtype參數(shù)即可，執(zhí)行的結(jié)果與上一節(jié)相同，不再累述。
df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]],
columns=['str', 'int', 'float', 'datetime', 'boolean'])
dtypedict = mapping_df_types(df)
df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)
