CSV
CSV(Comma-Separated Values)逗號分隔的值，是簡化的電子表格，保存為純文本文件。優(yōu)勢是簡單。
CSV文件中：
- 值沒有類型，所有東西都是字符串；
- 沒有字體大小顏色的設(shè)置；
- 沒有多個工作表；
- 不能指定單元格的寬度和高度；
- 不能合并單元格；
- 不能嵌入圖像和圖表。
csv模塊是python自帶的，不需要安裝就可以導(dǎo)入。
讀操作
- 要讀取csv文件，手寫用open()函數(shù)打開它，同文本文件一樣。
- 讀取不是調(diào)用read()或readlines()方法，而是將它傳遞給csv.reader()函數(shù)，返回一個Reader對象。
- 要訪問Reader對象中的值，最直接的方法，就是將它轉(zhuǎn)換成一個python的列表，即將它傳遞給list()。
- 然后就可以利用下標(biāo)來訪問特定的行列了。如下的exampleData[row][col]
- exampleData[0][0]訪問的是excel表格的第一行第一列數(shù)據(jù)。
>>> exampleFile = open('csvTest.csv')
>>> exampleReader = csv.reader(exampleFile)
>>> exampleData = list(exampleReader)
>>> exampleData
[['2015', '1:02', 'Apples', '12'], ['123', '3:05', 'Cherries', '23'], ['456', '12:01', 'Oranges', '54']]
>>> exampleData[0][0]
'2015'
>>> exampleData[0][2]
'Apples'
>>> exampleFile.close()
Reader對象
- 對于大型的CSV文件，需要在一個for循環(huán)中使用Reader對象，這樣可以避免將整個文件一次性裝入內(nèi)存。
>>> import csv
>>> exampleFile = open('csvTest.csv')
>>> exampleReader = csv.reader(exampleFile)
>>> for row in exampleReader:
>>> for row in exampleReader:
... print('Row #' + str(exampleReader.line_num) + ' ' + str(row))
...
Row #1 ['2015', '1:02', 'Apples', '12']
Row #2 ['123', '3:05', 'Cherries', '23']
Row #3 ['456', '12:01', 'Oranges', '54']
>>> exampleFile.close()
- Reader對象只能循環(huán)遍歷一次，要再次讀取CSV文件，必須調(diào)用csv.reader，再創(chuàng)建一個對象。
寫操作
import csv
outputFile = open('output.csv','w', newline = '')
outputWriter = csv.writer(outputFile)
outputWriter.writerow(['123','abc','33bs','ham',3.13144])
outputWriter.writerow(['aaa','333','world','hdd','hellow'])
outputFile.close()
- 在Windows上，需要為open()函數(shù)的newline關(guān)鍵字參數(shù)傳入一個空字符串。如果忘記設(shè)置newline關(guān)鍵字參數(shù)，output.csv中行距將有兩倍，即每兩行數(shù)據(jù)中間多處一個空行。
delimiter和lineterminator關(guān)鍵字參數(shù)
- 如果希望，用制表符來代替逗號分隔單元格，在使用csv.writer函數(shù)的時候，添加參數(shù)
delimiter = '\t', lineterminator = '\n'
import csv
outputFile = open('csvExample.tsv','w', newline = '')
outputWriter = csv.writer(outputFile, delimiter = '\t', lineterminator = '\n')
outputWriter.writerow(['123','abc','33bs','ham',3.13144])
outputWriter.writerow(['aaa','333','world','hdd','hellow'])
outputFile.close()
小項目：將文件夾中所有CSV文件內(nèi)的表頭刪除，并存到新文件夾中
# 功能：遍歷文件夾中所有CSV文件，從CSV文件中刪除表頭
import csv, os
os.makedirs('headerRemoved', exist_ok = True)
# 1.循環(huán)遍歷當(dāng)前目錄下每個文件
for csvFilename in os.listdir('.'):
if not csvFilename.endswith('.csv'):
continue #跳過結(jié)尾不是.csv的文件
print('Removing header from ' + csvFilename + '...')
# 2.讀CSV文件，除第一行外其余存入臨時變量csvRows
csvRows = []
csvFileObj = open(csvFilename)
readerObj = csv.reader(csvFileObj)
for row in readerObj:
if readerObj.line_num == 1:
continue #第一行不寫入臨時變量csvRows
csvRows.append(row)
csvFileObj.close()
# 3.寫入新CSV文件
csvFileObj = open(os.path.join('headerRemoved', csvFilename),'w',newline = '')
csvWriter = csv.writer(csvFileObj)
for row in csvRows:
csvWriter.writerow(row)
csvFileObj.close()
JSON和API
JSON是JavaScript程序編寫數(shù)據(jù)結(jié)構(gòu)的原生方式，通常類似于Python的pprint()函數(shù)產(chǎn)生的結(jié)果。
很多網(wǎng)站都提供JSON格式的內(nèi)容，作為程序與網(wǎng)站交互的方式，這就是所謂的"應(yīng)用程序編程接口(API)"。
JSON字符串總是用雙引號，它將改數(shù)據(jù)返回一個Python字典，Python字典是沒有順序的，所以json.loads()后打印其返回值，鍵-值對可能以不同順序出現(xiàn)。
- 用json.loads()函數(shù)讀取JSON，意思是“l(fā)oad string”。
- 用json.dumps()函數(shù)寫出JSON，意思是“dump string”。
小項目：取得當(dāng)前天氣，并打印天氣預(yù)報
- 連接 sys.argv 中的字符串，從命令行得到位置。
- 調(diào)用requests.get()，下載天氣數(shù)據(jù)。
- OpenWeatherMap.org提供了JSON格式的實時天氣信息。程序只需要下載頁面：
http://api.openweathermap.org/data/2.5/forecast/daily?q=<Location>&cnt=3，其中<Location>是想查天氣的城市。
- OpenWeatherMap.org提供了JSON格式的實時天氣信息。程序只需要下載頁面：
- 調(diào)用json.loads()，將JSON數(shù)據(jù)轉(zhuǎn)換為Python數(shù)據(jù)結(jié)構(gòu)。
- 打印天氣預(yù)報
上面外國網(wǎng)站永不了，另搜了百度天氣接口api
以GET形式提交，返回JSON或XML
URL:http://api.map.baidu.com/telematics/v3/weather?location={城市名}&output={返回格式}&ak={百度AK}
廣州JSON例子：http://api.map.baidu.com/telematics/v3/weather?location=廣州&output=JSON&ak=FK9mkfdQsloEngodbFl4FeY3
廣州XML例子：http://api.map.baidu.com/telematics/v3/weather?location=廣州&output=XML&ak=FK9mkfdQsloEngodbFl4FeY3
JSON返回主要數(shù)據(jù):
date：時間、currentCity：城市、pm25：pm2.5指數(shù)、index：各指數(shù)意見（穿衣、洗車、旅游、干嘛、運動、紫外線）、weather_data：四天內(nèi)的天氣情況（天氣、溫度、風(fēng)向、參考圖標(biāo)）
實測發(fā)現(xiàn)，發(fā)現(xiàn)百度天氣json數(shù)據(jù)的api接口被禁用了，所以只能用下面這個做測試了
http://wthrcdn.etouch.cn/weather_mini?city=%E5%8C%97%E4%BA%AC
# 功能：利用API得到JSON數(shù)據(jù)，取得當(dāng)前天氣數(shù)據(jù)，并打印天氣預(yù)報
import json, requests, sys, pprint
# 1.從命令行讀取請求的位置，命令行參數(shù)以空格分隔
if len(sys.argv) < 2:
print('Usage : quickWeather.py location')
sys.exit()
location = ' '.join(sys.argv[1:]) #命令行參數(shù)存在列表里是沒有空格的，此處用空格來拼接它們
print(location)
# 2.下載JSON數(shù)據(jù)
url = 'http://wthrcdn.etouch.cn/weather_mini?city=%s' % (location)
response = requests.get(url)
response.raise_for_status()
pprint.pprint(response.text)
weatherData = json.loads(response.text) #觀察json數(shù)據(jù)格式后發(fā)現(xiàn)溫度存在在data的wendu中
w = weatherData['data']
print(w['wendu'])
上面代碼保存為
quickWeather.py，在命令行運行python quickWeather.py 北京
{
desc: "OK",
status: 1000,
data:
{
wendu: "5",
ganmao: "雖然溫度適宜但風(fēng)力較大，仍較易發(fā)生感冒，體質(zhì)較弱的朋友請注意適當(dāng)防護。",
forecast: [
{
fengxiang: "北風(fēng)",
fengli: "微風(fēng)級",
high: "高溫 5℃",
type: "晴",
low: "低溫 -4℃",
date: "8日星期天"
},
{
fengxiang: "南風(fēng)",
fengli: "微風(fēng)級",
high: "高溫 3℃",
type: "晴",
low: "低溫 -6℃",
date: "9日星期一"
},
{
fengxiang: "北風(fēng)",
fengli: "微風(fēng)級",
high: "高溫 4℃",
type: "晴",
low: "低溫 -6℃",
date: "10日星期二"
},
{
fengxiang: "南風(fēng)",
fengli: "微風(fēng)級",
high: "高溫 4℃",
type: "晴",
low: "低溫 -6℃",
date: "11日星期三"
},
{
fengxiang: "南風(fēng)",
fengli: "微風(fēng)級",
high: "高溫 4℃",
type: "多云",
low: "低溫 -5℃",
date: "12日星期四"
}
],
yesterday:
{
fl: "微風(fēng)",
fx: "北風(fēng)",
high: "高溫 3℃",
type: "小雪",
low: "低溫 -3℃",
date: "7日星期六"
},
aqi: "48",
city: "北京"
}
}
