輸入輸出通?？梢詣澐譃閹状箢?
讀取文本文件和其他更高效的磁盤存儲格式
加載數(shù)據(jù)庫中的數(shù)據(jù)
利用Web API操作網(wǎng)絡資源
讀寫文本格式的數(shù)據(jù)
pandas中的解析函數(shù)
read_csv 從文件\URL\文件型對象中加載帶分隔符的數(shù)據(jù).默認分隔符為逗號
read_table 默認分隔符為制表符"\t"
read_fwf 讀取頂寬列格式數(shù)據(jù)(沒有分隔符)
read_clipboard 讀取剪貼板中的數(shù)據(jù),在網(wǎng)頁轉(zhuǎn)換為表格時很有用
這些函數(shù)的選項:
索引: 是否從文件\用戶獲取列名
類型推斷和數(shù)據(jù)轉(zhuǎn)換: 包括用戶定義值的轉(zhuǎn)換\缺失值標記列表
日期解析: 包括組合功能
迭代: 支持對大文件進行逐塊迭代
不規(guī)整數(shù)據(jù)問題: 跳過一些行\(zhòng)頁腳\注釋或其他一些不重要的東西
window系統(tǒng)中
!type 絕對路徑(不用引號且要使用"\")可以打印文本的原始內(nèi)容
df = pd.read_csv('絕對路徑')
也可以使用read_table,但是需要傳入?yún)?shù)sep=','
可以通過index_col參數(shù)指定索引,若要指定層次化索引則傳入列表即可
可以編寫一個正則表達式作為read_table的分隔符
可以用skiprows=數(shù)字列表傳入來跳過某些不去解析的行
缺失值處理,傳入na_values參數(shù)
表6-2 包含read_csv\read_table函數(shù)的參數(shù)
逐塊讀取文本文件
傳入nrows指定行;
傳入chunksize對文件進行迭代,返回一個迭代對象
chunker=pd.read_csv('ch06/ex6.csv',chunksize=1000)
tot=Series([])
for piece in chunker:
tot=tot.add(piece['key'].value_counts(),fill_value=0)
tot=tot.order(ascending=False)
將數(shù)據(jù)寫入到文本格式
data=pd.read_csv('ch06/ex5.csv')
利用DataFrame的to_csv方法,我們可以將數(shù)據(jù)寫入到一個以逗號分隔的文件中
data.to_csv('ch06/out.csv')
還可以使用其他分隔符(由于這里寫出到sys.stdout,所以僅僅是打印出文本結(jié)果)
data.to_csv(sys.stdout,sep='|')
缺失值在輸出結(jié)果會被表示為空字符串,傳入na_rep='NULL'可以表示為其他標記值
data.to_csv(sys.stdout,na_rep='NULL')
可以禁用行和列的標簽
data.to_csv(sys.stdout,index=False,header=False)
還可以只寫出一部分的列,并以指定的順序排列
data.to_csv(sys.stdout,index=False,columns=['a','b','c'])
Series也有一個to_csv方法
dates=pd.date_range('1/1/2000',periods=7)
ts=Series(np.arange(7),index=dates)
ts.to_csv('ch06/tseries.csv')
雖然只需一點整理工作(無header行,第一列作索引)就能用read_csv將CSV文件讀取為Series,但還有一個更為方便的from_csv方法
Series.from_csv('ch06/tseries.csv',parse_dates=True)
手工處理分隔符格式
import csv #python內(nèi)置的csv模塊
f = open('d:/python/data/ex7.csv')
reader = csv.reader(f) #將打開的文件對象傳給csv.reader
for line in reader:
? ? print(line) #進行迭代會為每行產(chǎn)生一個列表(注意這里移除了源文件中的雙引號)
In [50]: lines = list(csv.reader(open('d:/python/data/ex7.csv')))
...: header, values = lines[0], lines[1:]
...: data_dict = {h: v for h, v in zip(header, zip(*values))} #關于zip函數(shù)的應用
In [51]: data_dict
Out[51]: {'a': ('1', '1'), 'b': ('2', '2'), 'c': ('3', '3')}
CSV文件的形式有很多,只需定義csv.Dialect的一個子類即可定義出新格式(如專門的分隔符\字符串引用約定\行結(jié)束符等)
In [58]: class my_dialect(csv.Dialect):
...:? ? lineterminator = '\n'
...:? ? delimiter = ';'
...:? ? quotechar = '"'
...:? ? quoting = csv.QUOTE_MINIMAL
reader = csv.reader(f, diaect=my_dialect)
各個CSV語支的參數(shù)也可以以關鍵字的形式提供給csv.reader,而無需定義子類
reader = csv.reader(f, delimiter = '|')
表6-3: CSV語支選項
要手工輸出分隔符文件,可以使用csv.writer. 它接受一個已打開且可寫的文件對象,以及跟csv.reader相同的那些語支和格式化選項
In [64]: with open('mydata.csv', 'w') as f:
...:? ? writer = csv.writer(f, dialect=my_dialect)
...:? ? writer.writerow(('one', 'two', 'three'))
...:? ? writer.writerow(('1', '2', '3'))
...:? ? writer.writerow(('4', '5', '6'))
...:? ? writer.writerow(('7', '8', '9'))
JSON數(shù)據(jù)
import json
json.loads將JSON字符串轉(zhuǎn)換成python形式
json.dumps將python對象轉(zhuǎn)換成python形式
如何將JSON對象轉(zhuǎn)換為DataFrame數(shù)據(jù)結(jié)構(gòu)?
向DataFrame構(gòu)造器傳入JSON對象,并選取數(shù)據(jù)字段的子集
In [77]: obj = """
...: {"name": "Wes",
...:? "places_lived": ["United States", "Spain", "Germany"],
...:? "pet": null,
...:? "siblings": [{"name": "Scott", "age": 25, "pet": "Zuko"},
...:? ? ? ? ? ? ? {"name": "Katie", "age": 33, "pet": "Cisco"}]
...: }
...: """
In [80]: result = json.loads(obj)
In [81]: siblings = DataFrame(result['siblings'], columns=['name', 'age'])
In [82]: siblings
Out[82]:
? ? name? age
0? Scott? 25
1? Katie? 33
XML和HTML:Web信息收集
利用python爬蟲獲取信息,之后利用pandas的TextParser類做類型轉(zhuǎn)換
from pandas.io.parsers import TextParser
利用lxml.objectify解析xml
二進制數(shù)據(jù)格式
最簡單的方法之一:使用python內(nèi)置的pickle序列化
frame=pd.read_csv('ch06/ex1.csv')
frame.to_pickle('ch06/frame_pickle')
pd.read_pickle('ch06/frame_pickle') #讀取二進制數(shù)據(jù)
使用HDF5格式
store=pd.HDFStore('mydata.h5') #這個HDFStore是類似于字典的類
store['obj1']=frame
store['obj1_col']=frame['a']
store
File path: mydata.h5
/obj1? ? ? ? ? ? ? ? frame? ? ? ? (shape->[3,5])
/obj1_col? ? ? ? ? ? series? ? ? (shape->[3])
store['obj1']
a? b? c? d message
0? 1? 2? 3? 4? hello
1? 5? 6? 7? 8? world
2? 9? 10? 11? 12? ? foo
store.close() #關閉打開的HDF5文件
os.remove('mydata.h5') #移除剛才生成的文件
好好研究一下PyTables和h5py;許多數(shù)據(jù)分析問題都是IO密集型(而不是CPU密集型),利用HDF5這樣的工具能顯著提升應用程序的效率
警告: HDF5不是數(shù)據(jù)庫. 它最適合用作"一次寫多次讀"的數(shù)據(jù)集. 雖然數(shù)據(jù)可以在任何時候被添加到文件中,但如果同時發(fā)生多個寫操作,文件就可能被破壞.
讀取Excel文件
ExcelFile類支持讀取Excel表格型數(shù)據(jù),需要安裝xlrd和openpyxl包(anaconda已內(nèi)置)
xls_file = pd.ExcelFile('data.xls')
table = xls_file.parse('Sheet1') #這里解析xls_file的第一個表格Sheet1
使用HTML和Web API
通過requests庫訪問API,再利用json庫解析
