解封裝.png
ffmpeg的功能主要有兩方面:
- 解封裝
- 解碼
FFmpeg核心模塊
- libavutil
? 核心工具庫,該模塊是最基礎的模塊之一,下面的許多其他模塊都會依賴該庫做一些基本的音視頻處理操作。 - libavformat
用于各種音視頻封裝格式的生成和解析,包括獲取解碼所需信息以生成解碼上下文結構和讀取音視頻幀等功能;音視頻的格式解析協議,為 libavcodec 分析碼流提供獨立的音頻或視頻碼流源。 - libavcodec
用于各種類型聲音/圖像編解碼;該庫是音視頻編解碼核心,實現了市面上可見的絕大部分解碼器的功能,libavcodec 庫被其他各大解碼器 ffdshow,Mplayer 等所包含或應用。封裝了Codec層,但是有一些Codec是具備自己的License的,FFmpeg是不會默認添加像libx264、FDK-AAC、lame等庫的,但是FFmpeg就像一個平臺一樣,可以將其他的第三方的Codec以插件的方式添加進來,然后為開發者提供統一的接口。 - libavfilter
? filter(FileIO、FPS、DrawText)音視頻濾波器的開發,如水印、倍速播放等。音視頻濾鏡庫,該模塊提供了包括音頻特效和視頻特效的處理,在使用FFmpeg的API進行編解碼的過程中,直接使用該模塊為音視頻數據做特效處理是非常方便同時也非常高效的一種方式。 - libswresample
? 原始音頻格式轉碼。該模塊可用于音頻重采樣,可以對數字音頻進行聲道數、數據格式、采樣率等多種基本信息的轉換。 - libswscale
該模塊是將圖像進行格式轉換的模塊,比如,可以將YUV的數據轉換為RGB的數據,(原始視頻格式轉換)用于視頻場景比例縮放、色彩映射轉換;圖像顏色空間或格式轉換,如 rgb565,rgb888 等與 yuv420 等之間轉換。
安裝結束之后,進入到prefix指定的目錄下查看,具體會看到如下幾個目錄。
include:編譯結束的頭文件都存放在該目錄下面,如果要以編寫代碼的方式調用FFmpeg的API去完成工作(這也是后面會介紹的內容),就需要把include中的目錄放到includes的配置中(Android下的makefile文件)。
lib:其中存放的是編譯出來的靜態庫文件,其在以編寫代碼的方式調用FFmpeg的API時會使用到,在編譯階段會使用到上一步提到的include目錄,而在鏈接階段則會使用到這個lib目錄下面的靜態庫了。
share:該目錄中存放了一些examples,其中展示了如何使用代碼的方式調用FFmpeg的API,其實可以切換到configure腳本所在的目錄,然后執行make examples命令及make install,再到doc下面的example里找到對應的二進制文件,這樣就可以進行調試或者寫出自己的測試程了。
統一下術語,具體如下。
- 容器/文件(Conainer/File):即特定格式的多媒體文件,比如MP4、flv、mov等。
- 媒體流(Stream):表示時間軸上的一段連續數據,如一段聲音數據、一段視頻數據或一段字幕數據,可以是壓縮的,也可以是非壓縮的,壓縮的數據需要關聯特定的編解碼器。
- 數據幀/數據包(Frame/Packet):通常,一個媒體流是由大量的數據幀組成的,對于壓縮數據,幀對應著編解碼器的最小處理單元,分屬于不同媒體流的數據幀交錯存儲于容器之中。
- 編解碼器:編解碼器是以幀為單位實現壓縮數據和原始數據之間的相互轉換的。