-
先回顧一下視頻里面到底是什么
-
內(nèi)容元素
1.圖像（image）
2.音頻（Audio）
3.元素信息（Meta-data） -
編碼格式
1.Video:H264
2.Audio:AAC(后面文章講)
3.容器封裝:MP4/MOV/FLV/RM/RMVB/AVI -
H264
當(dāng)我們需要對(duì)發(fā)送的視頻文件進(jìn)行編碼時(shí)，只要是H264文件，AVFoundation都提供視頻編解碼器支持，這個(gè)標(biāo)準(zhǔn)被廣泛應(yīng)用于消費(fèi)者視頻攝像頭捕捉到的資源并成為網(wǎng)頁(yè)流媒體視頻最主要的格式。H264規(guī)范是MPEG4定義的一部分，H264遵循早期的MPEG-1/MPEG-2標(biāo)準(zhǔn)，但是在以更低比特率得到 更高圖片質(zhì)量方面有了進(jìn)步。
-
編碼的本質(zhì)
編碼的本質(zhì)示意圖 -
為什么要編碼？
舉個(gè)例子: （具體大小我沒(méi)數(shù)過(guò)，只做講解參考）
你的老公，Helen，將于明天晚上6點(diǎn)零5份在重慶的江北機(jī)場(chǎng)接你
----------------------23 * 2 + 10 = 56個(gè)字符--------------------------
你的老公將于明天晚上6點(diǎn)零5分在江北機(jī)場(chǎng)接你
----------------------20 * 2 + 2 = 42個(gè)字符----------------------------
Helen將于明天晚上6點(diǎn)在機(jī)場(chǎng)接你
----------------------10 * 2 + 2 = 26個(gè)字符----------------------------
相信大家看了這個(gè)例子之后，心里應(yīng)該大概明白編碼的本質(zhì)：只要不接收方不會(huì)產(chǎn)生誤解，就可以產(chǎn)生數(shù)據(jù)的承載量，編碼視頻的本質(zhì)也是如此，編碼的本質(zhì)就是減少數(shù)據(jù)的冗余
-
在引入I(關(guān)鍵)幀，B/P(參考)幀之前，我們先來(lái)了解一下人眼和視頻攝像頭的對(duì)幀的識(shí)別
我們?nèi)搜劭磳?shí)物的時(shí)候，一般的一秒鐘只要是連續(xù)的16幀以上，我們就會(huì)認(rèn)為事物是動(dòng)的，對(duì)于攝像頭來(lái)說(shuō)，一秒鐘所采集的圖片遠(yuǎn)遠(yuǎn)高于了16幀，可以達(dá)到幾十幀，對(duì)于一些高質(zhì)量的攝像頭，一秒鐘可以達(dá)到60幀，對(duì)于一般的事物來(lái)說(shuō)，你一秒鐘能改變多少個(gè)做動(dòng)作？所以，當(dāng)攝像頭在一秒鐘內(nèi)采集視頻的時(shí)候，前后兩幀的圖片數(shù)據(jù)里有大量的相同數(shù)據(jù)，對(duì)于這些數(shù)據(jù)我們?cè)撛趺刺幚砹耍慨?dāng)然前后兩幀也有不同的數(shù)據(jù)，對(duì)于這些相同或者不同的數(shù)據(jù)的處理過(guò)程，就是編碼
幀 -
I幀（I-frames，也叫關(guān)鍵幀）
- 我們知道在視頻的傳輸過(guò)程中，它是分片段傳輸?shù)模@個(gè)片段的第一幀，也就是第一張圖片，就是I幀，也就是傳說(shuō)中的關(guān)鍵幀
- I幀：也就是關(guān)鍵幀，幀內(nèi)壓縮（也就是壓縮獨(dú)立視頻幀，被稱為幀內(nèi)壓縮），幀內(nèi)壓縮通過(guò)消除包含在每個(gè)獨(dú)立視頻幀內(nèi)的色彩以及結(jié)構(gòu)中的冗余信息來(lái)進(jìn)行壓縮，因此可在不降低圖片適量的情況下盡可能的縮小尺寸，這類似于JEPG壓縮的原理，幀內(nèi)壓縮也可以稱為有損壓縮算法，但通常用于對(duì)原因圖片的一部分進(jìn)行處理，以生成極高質(zhì)量的照片，通過(guò)這一過(guò)程的創(chuàng)建的幀稱為I-frames；將第一幀完整的保存下來(lái).如果沒(méi)有這個(gè)關(guān)鍵幀后面解碼數(shù)據(jù),是完成不了的.所以I幀特別關(guān)鍵.
-
P幀（P-frames，又稱為預(yù)測(cè)幀）
- P幀：向前參考幀（在I幀（關(guān)鍵幀）后，P幀參考關(guān)鍵幀，保存下一幀和前一幀的不同數(shù)據(jù)）.壓縮時(shí)只參考前一個(gè)幀.屬于幀間壓縮技術(shù).
- 幀間壓縮技術(shù)：很多幀被組合在一起作為一組圖片（簡(jiǎn)稱GOP），對(duì)于GOP所存在的時(shí)間維度的冗余可以被消除，如果想象視頻文件中的典型場(chǎng)景，就會(huì)有一些特定的運(yùn)動(dòng)元素的概念，比如行駛中的汽車(chē)或者街道上行走的路人，場(chǎng)景的背景環(huán)信通道是固定的，或者在一定的時(shí)間內(nèi)，有些元素的改變很小或者不變，這些數(shù)據(jù)就稱為時(shí)間上的冗余，這些數(shù)據(jù)就可以通過(guò)幀間壓縮的方式進(jìn)行消除，也就是幀間壓縮，視頻的第一幀會(huì)被作為關(guān)鍵幀完整保存下來(lái).而后面的幀會(huì)向前依賴.也就是第二幀依賴于第一個(gè)幀.后面所有的幀只存儲(chǔ)于前一幀的差異.這樣就能將數(shù)據(jù)大大的減少.從而達(dá)到一個(gè)高壓縮率的效果.這就是P幀，保存前后兩幀不通的數(shù)據(jù)
-
B幀（B-frames，又稱為雙向幀）
- B幀，又叫雙向幀，它是基于使用前后兩幀進(jìn)行編碼后得到的幀，幾乎不需要存儲(chǔ)空間，但是解壓過(guò)程會(huì)消耗較長(zhǎng)的時(shí)間，因?yàn)樗蕾囍車(chē)渌膸?/li>
- B幀的特點(diǎn)：B幀使得視頻的壓縮率更高.存儲(chǔ)的數(shù)據(jù)量更小.如果B幀的數(shù)量越多,你的壓縮率就越高.這是B幀的優(yōu)點(diǎn),但是B幀最大的缺點(diǎn)是,如果是實(shí)時(shí)互動(dòng)的直播,那時(shí)與B幀就要參考后面的幀才能解碼,那在網(wǎng)絡(luò)中就要等待后面的幀傳輸過(guò)來(lái).這就與網(wǎng)絡(luò)有關(guān)了.如果網(wǎng)絡(luò)狀態(tài)很好的話,解碼會(huì)比較快,如果網(wǎng)絡(luò)不好時(shí)解碼會(huì)稍微慢一些.丟包時(shí)還需要重傳.對(duì)實(shí)時(shí)互動(dòng)的直播,一般不會(huì)使用B幀.如果在泛娛樂(lè)的直播中,可以接受一定度的延時(shí),需要比較高的壓縮比就可以使用B幀.如果我們?cè)趯?shí)時(shí)互動(dòng)的直播,我們需要提高時(shí)效性,這時(shí)就不能使用B幀了.
-
GOP一組幀的理解
如果在一秒鐘內(nèi),有30幀.這30幀可以畫(huà)成一組.如果攝像機(jī)或者鏡頭它一分鐘之內(nèi)它都沒(méi)有發(fā)生大的變化.那也可以把這一分鐘內(nèi)所有的幀畫(huà)做一組.
-
什么叫一組幀?
就是一個(gè)I幀到下一個(gè)I幀.這一組的數(shù)據(jù).包括B幀/P幀.我們稱為GOP
圖片來(lái)源于網(wǎng)絡(luò)
-
視頻花屏/卡頓原因
- 我們平常在觀看視頻的時(shí)候，出現(xiàn)視頻的花屏或者卡頓，第一反應(yīng)就是我們的網(wǎng)絡(luò)出現(xiàn)了問(wèn)題，其實(shí)我們的網(wǎng)絡(luò)沒(méi)有問(wèn)題，是我們?cè)诮獯a的時(shí)候I幀，B/P幀出現(xiàn)了丟失
- 如果GOP分組中的P幀丟失就會(huì)造成解碼端的圖像發(fā)生錯(cuò)誤.
- 為了避免花屏問(wèn)題的發(fā)生,一般如果發(fā)現(xiàn)P幀或者I幀丟失.就不顯示本GOP內(nèi)的所有幀.只到下一個(gè)I幀來(lái)后重新刷新圖像.
- 當(dāng)這時(shí)因?yàn)闆](méi)有刷新屏幕.丟包的這一組幀全部扔掉了.圖像就會(huì)卡在哪里不動(dòng).這就是卡頓的原因.
