起因
為什么想到寫這么一篇文章呢？
- 早上在逛runnersworld網站的時候，發現很多不錯的健身方面的視頻，于是想下載下來，后期可以進行剪輯發布到短視頻上供大家參考學習。于是，不容想太多，直接開干。
嘗試
- 首先想到的是檢查頁面元素，看能否直接找到視頻鏈接，結果這種方法行不通
- 緊接著想到了抓包，于是安裝了Charles（我電腦是mac電腦，配置方式大家可以自行Bai度）
-
安裝配置完畢，開始抓包，抓下來的包類似下面這種樣式，很明顯，視頻作者將視頻進行了分割
抓包圖 - 通過網上查詢發現了這種格式 m3u8 是一種蘋果公司制定的標準。上圖中的.m3u8文件就是視頻小段ts文件的索引文件，下面要下載視頻用的就是這個索引文件。
準備
- 剛開始想到的是將這些ts小文件批量下載下來，然后再合成MP4文件，我也這樣做了。
我寫了一個程序，用于下載這些ts文件，源碼如下：
import requests
import threading
import datetime
count =0;
def Handler(start, end, url, filename):
for i in filename[start:end]:
global count
r = requests.get("https://hdm-streaming-otfp.hearst.io/5d8572b8-320b-4cba-a54b-bc16eca15e8f/"+i.replace("\n",""),stream=True)
with open("ts/"+i.replace("\n",""), "wb") as f:
f.write(r.content)
count =count+1
print("下載進度：%.2f" % (count/len(filename)))
def download_file(url, num_thread = 10):
f = open('index.m3u8', 'r', encoding='utf-8')
text_list = f.readlines()
s_list = []
for i in text_list:
if i.find('#EX')==-1:
s_list.append(i)
f.close()
file_size = len(s_list)
print(s_list)
# 啟動多線程寫文件
part = file_size // num_thread # 如果不能整除，最后一塊應該多幾個字節
for i in range(num_thread):
start = part * i
if i == num_thread - 1: # 最后一塊
end = file_size
else:
end = start + part
t = threading.Thread(target=Handler, kwargs={'start': start, 'end': end, 'url': url, 'filename': s_list})
t.setDaemon(True)
t.start()
# 等待所有線程下載完成
main_thread = threading.current_thread()
for t in threading.enumerate():
if t is main_thread:
continue
t.join()
#print('%s 下載完成' % file_name)
if __name__ == '__main__':
url ="https://hdm-streaming-otfp.hearst.io/5d8572b8-320b-4cba-a54b-bc16eca15e8f/";
start = datetime.datetime.now().replace(microsecond=0)
download_file(url)
end = datetime.datetime.now().replace(microsecond=0)
print("用時: ", end='')
print(end-start)
文件下載完畢，如下圖所示：
ts文件截圖
- 接下來到了文件拼接部分，當我在網上查詢文件拼接的方法時，發現了，下面的方法：
ffmpeg -i https://xxxxx/index.m3u8 -acodec copy -vcodec copy -absf aac_adtstoasc video.mp4
- 我就在想，是不是通過ffmpeg 這個庫加上這個命令就能直接生成mp4文件，而不用先下載小文件，然后再合成了呢？如果是這樣，那不就方便多了。下面進行驗證：
- 我用命令
brew list查看我本地有沒有安裝這個 ffmpeg 庫，發現沒有安裝，那就安裝吧。
執行命令brew install ffmpeg
然鵝，安裝過程出現了錯誤：
==> Installing ffmpeg dependency: libtasn1
==> Pouring libtasn1-4.17.0.big_sur.bottle.tar.gz
Error: No such file or directory @ rb_sysopen - /Users/john/Library/Caches/Homebrew/downloads/6391a3501c95c7695e33d4a84f42a4c9b0a82f4483c916c767cdc110ee602179--libtasn1-4.17.0.big_sur.bottle.tar.gz
出現這個錯誤 我就進入目錄：/Users/john/Library/Caches/Homebrew/downloads 發現里邊有個文件跟這個很像 （后邊名字為：libtasn1--4.17.0.big_sur.bottle.tar.gz）然后我嘗試將已經下載的這個文件的名字改為6391a3501c95c7695e33d4a84f42a4c9b0a82f4483c916c767cdc110ee602179--libtasn1-4.17.0.big_sur.bottle.tar.gz 重新執行命令，這個庫找不到的問題通過了，接下來又出現另外的庫找不到，同樣的思路走一遍發現也是有一個文件多了一個
-，改名，通過。繼續。為什么會出現這個問題，咱也是一臉的懵逼，或許是算哈希值得時候出錯了吧，這里咱也研究不了，就先手動改吧。
安裝完成，讓咱們來看看 輸入 ffmpeg 沒有報錯，太開心了，接下來實戰一下試試執行命令 ：
ffmpeg -i https://hdm-streaming-otfp.hearst.io/5d8572b8-320b-4cba-a54b-bc16eca15e8f/video_rover_16x9_240p_sd_1642001076_1983.m3u8 -acodec copy -vcodec copy -absf aac_adtstoasc video.mp4
哈哈，順利執行，并且video.mp4也已經下載完成。太棒了!
