1. 從基礎談起
先給出幾個概念，以在后面的分析中方便理解
Container: 在音視頻中的容器，一般指的是一種特定的文件格式，里面指明了所包含的音視頻，字幕等相關信息
Stream: 這個詞有些微妙，很多地方都用到，比如TCP，SVR4系統等，其實在音視頻，你 可以理解為單純的音頻數據或者視頻數據等
Frame: 這個概念不是很好明確的表示，指的是Stream中的一個數據單元，要真正對這個概念有所理解，可能需要看一些音視頻編碼解碼的理論知識
Packet: 是Stream的raw數據
Codec: encoder + decoder
其實這些概念在在FFmpeg中都有很好的體現，我們在后續分析中會慢慢看到
2.解碼的基本流程
我很懶，于是還是選擇了從<An ffmpeg and SDL Tutorial>中的流程概述:
10 OPEN video_stream FROM video.avi
20 READ packet FROM video_stream INTO frame
30 IF frame NOT COMPLETE GOTO 20
40 DO SOMETHING WITH frame
50 GOTO 20
這就是解碼的全過程，一眼看去，是不是感覺不過如此:),不過，事情有深有淺，從淺到深，然后從深回到淺可能才是一個有意思的過程，我們的故事，就從這里開始，展開來講。
3.例子代碼
在<An ffmpeg and SDL Tutorial 1>中，給出了一個陽春版的解碼器，我們來仔細看看陽春后面的故事，為了方便講述，我先貼出代碼：
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include <stdio.h>
// compatibility with newer API
#if LIBAVCODEC_VERSION_INT < AV_VERSION_INT(55,28,1)
#define av_frame_alloc avcodec_alloc_frame
#define av_frame_free avcodec_free_frame
#endif
void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) {
FILE *pFile;
char szFilename[32];
int y;
// Open file
sprintf(szFilename, "frame%d.ppm", iFrame);
pFile=fopen(szFilename, "wb");
if(pFile==NULL)
return;
// Write header
fprintf(pFile, "P6\n%d %d\n255\n", width, height);
// Write pixel data
for(y=0; y<height; y++)
fwrite(pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, pFile);
// Close file
fclose(pFile);
}
int main(int argc, char *argv[]) {
// Initalizing these to NULL prevents segfaults!
AVFormatContext *pFormatCtx = NULL;
int i, videoStream;
AVCodecContext *pCodecCtxOrig = NULL;
AVCodecContext *pCodecCtx = NULL;
AVCodec *pCodec = NULL;
AVFrame *pFrame = NULL;
AVFrame *pFrameRGB = NULL;
AVPacket packet;
int frameFinished;
int numBytes;
uint8_t *buffer = NULL;
struct SwsContext *sws_ctx = NULL;
if(argc < 2) {
printf("Please provide a movie file\n");
return -1;
}
// [1] Register all formats and codecs
av_register_all();
// [2] Open video file
if(avformat_open_input(&pFormatCtx, argv[1], NULL, NULL)!=0)
return -1; // Couldn't open file
// [3] Retrieve stream information
if(avformat_find_stream_info(pFormatCtx, NULL)<0)
return -1; // Couldn't find stream information
// Dump information about file onto standard error
av_dump_format(pFormatCtx, 0, argv[1], 0);
// Find the first video stream
videoStream=-1;
for(i=0; i<pFormatCtx->nb_streams; i++)
if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO) {
videoStream=i;
break;
}
if(videoStream==-1)
return -1; // Didn't find a video stream
// Get a pointer to the codec context for the video stream
pCodecCtxOrig=pFormatCtx->streams[videoStream]->codec;
// Find the decoder for the video stream
pCodec=avcodec_find_decoder(pCodecCtxOrig->codec_id);
if(pCodec==NULL) {
fprintf(stderr, "Unsupported codec!\n");
return -1; // Codec not found
}
// Copy context
pCodecCtx = avcodec_alloc_context3(pCodec);
if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {
fprintf(stderr, "Couldn't copy codec context");
return -1; // Error copying codec context
}
// Open codec
if(avcodec_open2(pCodecCtx, pCodec, NULL)<0)
return -1; // Could not open codec
// Allocate video frame
pFrame=av_frame_alloc();
// Allocate an AVFrame structure
pFrameRGB=av_frame_alloc();
if(pFrameRGB==NULL)
return -1;
// Determine required buffer size and allocate buffer
numBytes=avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width,
pCodecCtx->height);
buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));
// Assign appropriate parts of buffer to image planes in pFrameRGB
// Note that pFrameRGB is an AVFrame, but AVFrame is a superset
// of AVPicture
avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,
pCodecCtx->width, pCodecCtx->height);
// initialize SWS context for software scaling
sws_ctx = sws_getContext(pCodecCtx->width,
pCodecCtx->height,
pCodecCtx->pix_fmt,
pCodecCtx->width,
pCodecCtx->height,
PIX_FMT_RGB24,
SWS_BILINEAR,
NULL,
NULL,
NULL
);
// [4] Read frames and save first five frames to disk
i=0;
while(av_read_frame(pFormatCtx, &packet)>=0) {
// Is this a packet from the video stream?
if(packet.stream_index==videoStream) {
// Decode video frame
avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
// Did we get a video frame?
if(frameFinished) {
// Convert the image from its native format to RGB
sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data,
pFrame->linesize, 0, pCodecCtx->height,
pFrameRGB->data, pFrameRGB->linesize);
// Save the frame to disk
if(++i<=5)
SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height,
i);
}
}
// Free the packet that was allocated by av_read_frame
av_free_packet(&packet);
}
// Free the RGB image
av_free(buffer);
av_frame_free(&pFrameRGB);
// Free the YUV frame
av_frame_free(&pFrame);
// Close the codecs
avcodec_close(pCodecCtx);
avcodec_close(pCodecCtxOrig);
// Close the video file
avformat_close_input(&pFormatCtx);
return 0;
}
代碼注釋得很清楚，沒什么過多需要講解的，關于其中的什么YUV420，RGB，PPM等格式，如果不理解，麻煩還是google一下，也可以參考:http://barrypopy.cublog.cn/里面的相關文章其實這部分代碼，很好了Demo了怎么樣去抓屏功能的實現，但我們得去看看魔術師在后臺的一些手法，而不只是簡單的享受其表演。
4.背后的故事
真正的難度，其實就是上面的[1],[2],[3],[4],其他部分，都是數據結構之間的轉換，如果你認真看代碼的話，不難理解其他部分。
[1]：av_register_all
注冊所有容器與codec
[2]：avformat_open_input
先說說里面的AVFormatContext *pFormatCtx結構，字面意思理解AVFormatContext就是關于AVFormat(其實就是我們上面說的Container格式)的所處的Context(場景)，自然是保存Container信息的總控結構了，后面你也可以看到，基本上所有的信息，都可以從它出發而獲取到
我們來看看avformat_open_input()都做了些什么：
這樣看來，只是做了兩件事情：
1). 偵測容器文件格式
實際上就是探測確定demuxer
av_probe_input_format3從first_iformat開始遍歷注冊的所有demuxer，以mkv為例：
AVInputFormat ff_matroska_demuxer = {
.name = "matroska,webm",
.long_name = NULL_IF_CONFIG_SMALL("Matroska / WebM"),
.extensions = "mkv,mk3d,mka,mks",
.priv_data_size = sizeof(MatroskaDemuxContext),
.read_probe = matroska_probe,
.read_header = matroska_read_header,
.read_packet = matroska_read_packet,
.read_close = matroska_read_close,
.read_seek = matroska_read_seek,
.mime_type = "audio/webm,audio/x-matroska,video/webm,video/x-matroska"
};
遍歷調用相應的read_probe函數，最終確定容器格式( AVFormatContext的iformat )：
typedef struct AVFormatContext {
......
/**
* The input container format.
*
* Demuxing only, set by avformat_open_input().
*/
struct AVInputFormat *iformat;
......
}
2). 從容器文件獲取Stream的信息
其實就是使用確定了的demuxer的方法分離出所有Stream的過程:
av_open_input_stream調用已確定demuxer的read_header函數以獲取所有stream信息（AVFormatContext的streams）：
/**
* Number of elements in AVFormatContext.streams.
*
* Set by avformat_new_stream(), must not be modified by any other code.
*/
unsigned int nb_streams;
/**
* A list of all streams in the file. New streams are created with
* avformat_new_stream().
*
* - demuxing: streams are created by libavformat in avformat_open_input().
* If AVFMTCTX_NOHEADER is set in ctx_flags, then new streams may also
* appear in av_read_frame().
* - muxing: streams are created by the user before avformat_write_header().
*
* Freed by libavformat in avformat_free_context().
*/
AVStream **streams;
[3]: avformat_find_stream_info
進一步解析Stream的信息，比如根據上一步確定的enum AVCodecID codec_id，確定對應的const struct AVCodec *codec
[4]: av_read_frame, avcodec_decode_video2
先簡單說一些ffmpeg方面的東西，從理論角度說過來，Packet可以包含frame的部分數據，但ffmpeg為了實現上的方便，使得對于視頻來說，每個Packet至少包含一frame,對于音頻也是相應處理，這是實現方面的考慮，而非協議要求.因此，在上面的代碼實際上是這樣的： 從文件中讀取packet，從Packet中解碼相應的frame; 從幀中解碼; if(解碼幀完成) do something();
我們來看看如何獲取Packet,又如何從Packet中解碼frame的。
av_read_frame
---> av_read_frame_internal
---> ff_read_packet
---> (AVInputFormat *) iformat->read_packet
avcodec_decode_video2
---> avctx->codec->decode (調用指定Codec的解碼函數)
因此，從上面的過程可以看到，實際上分為了兩部分：
一部分是解復用(demuxer):av_read_frame();
然后是解碼(decode): avcodec_decode_video2()
5.后面該做些什么
結合這部分和轉貼的ffmepg框架的文章，應該可以基本打通解碼的流程了，后面的問題則是針對具體容器格式和具體編碼解碼器的分析，后面我們繼續參考：
[1]. <An ffmpeg and SDL Tutorial>
http://dranger.com/ffmpeg/tutorial01.html
[2]. <FFMpeg框架代碼閱讀>
http://blog.csdn.net/wstarx/archive/2007/04/20/1572393.aspx
