第一章 AV Foundation 簡(jiǎn)介
1991 年蘋(píng)果推出了 Quick Time 首次將數(shù)字音頻和數(shù)字視頻展現(xiàn)在用戶面前，Quick Time 架構(gòu)在之后 20 年間給數(shù)字多媒體這一領(lǐng)域帶來(lái)了變革，對(duì)教育、游戲、娛樂(lè)產(chǎn)業(yè)的發(fā)展影響巨大。但是隨著時(shí)間的推移，缺點(diǎn)也越來(lái)越多，于是蘋(píng)果推出了一個(gè)新的框架，它就是 AV Foundation
1. AV Foundation 層級(jí)
AV Foundation 是用于處理基于時(shí)間的視聽(tīng)數(shù)據(jù)的高級(jí)框架。下圖展示了 AV Foundation 在整個(gè)體系中所處的角色。
Core Audio
Core Audio 是由多個(gè)框架整合在一起的總稱，為音頻和 MIDI 內(nèi)容的錄制、播放和處理提供相應(yīng)接口。Core Audio 也提供高層級(jí)的接口，比如通過(guò) Audio Queue Services 框架，處理基本的音頻播放和錄音功能。同時(shí)也提供相對(duì)低層級(jí)的接口，尤其是 Audio Units 接口，提供了針對(duì)音頻信號(hào)進(jìn)行完全控制的功能，并通過(guò) Audio Units 構(gòu)建一些復(fù)雜的音頻處理模式。如果想詳細(xì)了解這一框架，建議閱讀由 Chirs Adamson 和 Kevin Avila 撰寫(xiě)的 Learning Core Audio 一書(shū)。
Core Video
Core Video 是針對(duì)數(shù)字視頻所提供的管道模式，為其相對(duì)的 Core Media 提供圖片緩存和緩存池支持，提供了一個(gè)能夠?qū)?shù)字視頻逐幀訪問(wèn)的接口。該框架通過(guò)像素格式之間的轉(zhuǎn)換并管理視頻同步事項(xiàng)，使得復(fù)雜的工作得到了有效簡(jiǎn)化。
Core Media
Core Media 是 AV Foundation 所用到的低層級(jí)媒體管道的一部分。它提供針對(duì)音頻樣本和視頻幀處理所需的低層級(jí)數(shù)據(jù)類(lèi)型和接口。Core Media 還提供了基于 CMTime 數(shù)據(jù)類(lèi)型的時(shí)基模型。
Core Animation
Core Animation 是合成及動(dòng)畫(huà)相關(guān)框架，主要功能就是提供美觀、流暢的動(dòng)畫(huà)效果。對(duì)于視頻內(nèi)容的播放和視頻捕獲，AV Foundation 提供了硬件加速機(jī)制來(lái)對(duì)整個(gè)流程進(jìn)行優(yōu)化。AV Foundation 還可以利用 Core Animation 讓開(kāi)發(fā)者能夠在視頻編輯和播放過(guò)程中添加動(dòng)畫(huà)標(biāo)題和圖片效果。
處于高層級(jí)框架和低層級(jí)框架之間就是 AV Foundation，其提供了很多低層級(jí)框架才能實(shí)現(xiàn)的功能和性能，并且是以更簡(jiǎn)單的 OC 接口方式實(shí)現(xiàn)的。同時(shí)它也可以和高層級(jí)的框架無(wú)縫連接，比如 Media Player 和 Assets Library，使用這兩個(gè)框架所提供的服務(wù)，也可以直接和 Core Media 和 Core Audio 進(jìn)行交互。
2. AV Foundation 框架
AV Foundation 框架包含 100 多個(gè)類(lèi)，如果將其按照功能單元進(jìn)行分解，就會(huì)變得比較容易理解：
音頻播放和記錄
如上圖所示 AV Foundation 方框右上角有一個(gè)小方格被單獨(dú)標(biāo)記為音頻專用類(lèi)，這是由 AV Foundation 提供的關(guān)于音頻處理的一些早期功能。AVAudioPlayer 和 AVAudioRecorder 可以提供一種更簡(jiǎn)單的整合音頻播放和記錄的功能，但是并不是 AV Foundation 用于播放和記錄音頻的唯一方式，卻是最容易學(xué)習(xí)、功能最強(qiáng)大的方法。
媒體文件檢查
AV Foundation 提供檢查正在使用的媒體文件的功能，比如是否可以用于回放，或者是否可以被編輯和導(dǎo)出，還可以獲取內(nèi)容持續(xù)時(shí)間，創(chuàng)建日期，首選播放音量。此外，該框架還基于 AVMetadataItem 類(lèi)提供強(qiáng)大的元數(shù)據(jù)支持，這就允許開(kāi)發(fā)者讀寫(xiě)關(guān)于媒體資源的描述信息，比如唱片簿和藝術(shù)家信息。
視頻播放
這是 AV Foundation 提供的最常用的功能，這一部分的核心類(lèi)是 AVPlayer 和 AVPlayerItem，這兩個(gè)類(lèi)讓你能夠?qū)Y源的播放進(jìn)行控制。
媒體捕捉
AV Foundation 提供了豐富的 API 集可以對(duì)攝像頭等設(shè)備進(jìn)行精密控制。攝像頭捕捉的核心類(lèi)是 AVCaptureSession，其作為所有活動(dòng)的匯集點(diǎn)來(lái)接收攝像頭設(shè)備由各路流發(fā)過(guò)來(lái)的視頻和圖片。
媒體編輯
AV Foundation 可以將多個(gè)音頻和視頻資源進(jìn)行組合，允許修改和編輯獨(dú)立的媒體片段、隨時(shí)修改音頻文件的參數(shù)以及添加動(dòng)畫(huà)標(biāo)題和場(chǎng)景切換效果。
媒體處理
使用 AVAssetReader 和 AVAssetWritere 類(lèi)來(lái)執(zhí)行更高級(jí)的媒體處理任務(wù)，這些類(lèi)可以直接訪問(wèn)視頻幀和音頻樣本。
3. 數(shù)字媒體簡(jiǎn)介
雖然我們處在一個(gè)數(shù)字化的時(shí)代，但是我們還是更習(xí)慣模擬信息的世界。我們看到的和聽(tīng)到的都是通過(guò)模擬信號(hào)傳遞給我們，信號(hào)的頻率和強(qiáng)度是在不斷變化的。但是數(shù)字世界的信號(hào)是離散的，由 1 和 0 組成。將模擬信號(hào)轉(zhuǎn)換成我們能夠存儲(chǔ)并傳輸?shù)臄?shù)字信號(hào)，要進(jìn)過(guò)模數(shù)轉(zhuǎn)換，我們將這個(gè)過(guò)程稱為采樣（Sampling）。
3.1 數(shù)字媒體采樣
對(duì)媒體內(nèi)容數(shù)字化主要有兩種方式。第一種稱為時(shí)間采樣，這種方法捕捉一個(gè)信號(hào)周期內(nèi)的變化。第二種稱為空間采樣，一般用在圖片數(shù)字化和其他可視化媒體內(nèi)容數(shù)字化的過(guò)程中。空間采樣包含對(duì)一幅圖片在一定分辨率之下捕捉其亮度和色度，進(jìn)而創(chuàng)建由該圖片的像素點(diǎn)數(shù)據(jù)所構(gòu)成的數(shù)字化結(jié)果。
3.2 數(shù)字媒體壓縮 - 色彩二次抽樣
與我們熟知的 RGB 類(lèi)似，YUV 也是一種顏色編碼方法，主要用于電視系統(tǒng)和模擬視頻領(lǐng)域。Y 表示亮度，也就是灰度值，UV 表示色度，用于指定像素的顏色。圖片所有細(xì)節(jié)都保存在 Y 通道中，如果除去 Y 信息，剩下的就是一幅灰度圖片；如果除去 UV 信息，則變成黑白影像。因?yàn)槲覀兊难劬?duì)亮度的敏感度要高于顏色，所以我們可以大幅減少存儲(chǔ)在每個(gè)像素中的顏色信息，不至于圖片的質(zhì)量嚴(yán)重受損，這個(gè)減少顏色數(shù)據(jù)的過(guò)程就稱為色彩二次抽樣。
YUV 主流的采樣方式有三種：4:4:4、4:2:2、4:2:0，這些值就是設(shè)備所使用的色彩二次抽樣的參數(shù)。一些專業(yè)相機(jī)以 4:4:4 的參數(shù)捕捉圖像，但大部分情況下使用 4:2:2 的方式進(jìn)行拍攝，iPhone 攝像頭通常以 4:2:0 方式進(jìn)行拍攝。
4:4:4
- 每一個(gè) Y 對(duì)應(yīng)一組 UV 分量
- 表示 UV 沒(méi)有減少采樣，即 Y、U、V 各占一個(gè)字節(jié)，加上 alpha 通道一個(gè)字節(jié)，共 4 字節(jié)，這個(gè)格式其實(shí)就是 24bpp 的 RGB 格式了。
4:2:2
- 每?jī)蓚€(gè) Y 共用一組 UV 分量
- 表示 U、V 分量采樣減半，比如第一個(gè)像素采樣 YU，第二個(gè)像素采樣 YV，以此類(lèi)推。
4:2:0
- 每四個(gè) Y 共用一組 UV 分量
- 這里的 0 意思是 U、V 分量隔行采樣一次，比如第一行采樣 4:2:0，第二行采樣 4:0:2，以此類(lèi)推。
3.3 數(shù)字媒體壓縮 - 編解碼器壓縮
編解碼器壓縮分為無(wú)損壓縮和有損壓縮。有損壓縮舉例：人類(lèi)可以聽(tīng)到的音頻范圍是 20 Hz - 20 kHz，但是我們真正敏感的頻率區(qū)間是 1 kHz - 5 kHz，使用過(guò)濾技術(shù)來(lái)減少或消除特定頻率，從而減少媒體內(nèi)容中的冗余數(shù)據(jù)。
3.4 數(shù)字媒體壓縮 - 視頻編解碼器
AV Foundation 提供有限的編解碼器集合，主要?dú)w結(jié)為 H.264 和 Apple ProRes
3.4.1 H.264
H.264 / MPEG-4 第十部分，或稱 AVC（Advanced Video Coding，高級(jí)視頻編碼），是由 ITU-T（國(guó)際電信聯(lián)盟 - 電信標(biāo)準(zhǔn)化部門(mén)） 群組之一的 VCEG（視頻編碼專家組） 與 MPEG（動(dòng)態(tài)圖像專家組，也就是 ISO / IEC（國(guó)際標(biāo)準(zhǔn)化組織 / 國(guó)際電工委員會(huì)）聯(lián)合工作組）聯(lián)合組成的 JVT（聯(lián)合視頻組）開(kāi)發(fā)。因 ITU-T H.264 標(biāo)準(zhǔn)和 ISO / IEC MPEG-4 AVC 標(biāo)準(zhǔn)有相同的技術(shù)內(nèi)容，所以被共同管理。
H.264 和其他形式的 MPEG 壓縮一樣，通過(guò)空間（幀內(nèi)壓縮）和時(shí)間（幀間壓縮）兩個(gè)維度縮小視頻文件的尺寸。
幀內(nèi)壓縮：
通過(guò)消除視頻幀內(nèi)的色彩和結(jié)構(gòu)中的冗余信息來(lái)進(jìn)行壓縮，在不降低圖片質(zhì)量的情況下盡可能縮小尺寸，同 JEPG 壓縮原理類(lèi)似，通過(guò)這一過(guò)程創(chuàng)建的幀稱為 I-frames
幀間壓縮：
很多幀組合在一起作為一組圖片（簡(jiǎn)稱 GOP），對(duì)于 GOP 所存在的時(shí)間維度的冗余可以被消除。比如行駛的汽車(chē)，背景環(huán)境通常是固定的，就代表一個(gè)時(shí)間維度上的冗余，可以通過(guò)壓縮方式消除。通過(guò)這一過(guò)程可創(chuàng)建的幀稱為 B-frames 和 P-frames
I 幀，關(guān)鍵幀。包含創(chuàng)建完整圖片需要的所有數(shù)據(jù)，每組都會(huì)有一個(gè) I 幀。由于它是一個(gè)獨(dú)立幀，其尺寸最大，但是解壓最快；
P 幀，差別幀。表示這一幀和之前的 I 幀（或 P 幀）的差別，解碼時(shí)需要用之前緩存的畫(huà)面疊加上本幀定義的差別，生成最終畫(huà)面；
B 幀，雙向幀。記錄本幀和前后幀的差別。不僅要取得之前的緩存畫(huà)面，還有解碼之后的畫(huà)面，通過(guò)前后畫(huà)面與本幀數(shù)據(jù)的疊加取得最終的畫(huà)面。幾乎不需要存儲(chǔ)空間，但是解壓比較耗時(shí)，因?yàn)樗蕾囉谥車(chē)渌膸?/p>
H.264 一共有三種壓縮標(biāo)準(zhǔn)，從低到高分別為：
Baseline
低效，只支持 I / P 幀，一般用于低階或需要額外容錯(cuò)的應(yīng)用，比如視頻通話、手機(jī)視頻等
Main
主要，提供 I / P / B 幀，一般用于主流消費(fèi)類(lèi)電子產(chǎn)品規(guī)格如 mp4、PSP、iPod 等
High
高端，在 Main 的基礎(chǔ)上增加了 8x8 內(nèi)部預(yù)測(cè)、自定義量化、無(wú)損視頻編碼和更多的YUV 格式（如 4:4:4），用于藍(lán)光影片，高清電視
3.4.2 Apple ProRes
Apple ProRes 被認(rèn)為是一個(gè)中間件或中間層編解碼器，其獨(dú)立于幀的，意味著只有 I 幀可以被使用，其更適用于內(nèi)容編輯上。但是 ProRes 編解碼器只在 MAC OS 上可用，iOS 只能使用 H.264
ProRes 是有損編解碼器，但是它具有最高的編解碼質(zhì)量。Apple ProRes 422 使用 4:2:2 色彩二次抽樣和 10 位的采樣深度。Apple ProRes 4444 使用 4:4:4:4 色彩二次抽樣，4 個(gè)表示支持無(wú)損 alpha 通道和高達(dá) 12 位的采樣深度。
3.5 數(shù)字媒體壓縮 - 音頻編解碼器
AAC（高級(jí)音頻編碼）是 H.264 標(biāo)準(zhǔn)相應(yīng)的音頻處理方式，目前是最主流的編碼方式。這種格式比 MP3 格式有著顯著的提升，可以在低比特率的前提下提供更高質(zhì)量的音頻，是 Web 上發(fā)布和傳播中最理想的音頻格式。而且相對(duì) MP3 來(lái)說(shuō)，AAC 沒(méi)有來(lái)自證書(shū)和許可方面的限制。
注意：AV Foundation 和 Core Audio 支持 MP3 數(shù)據(jù)解碼，但是不支持編碼。
4. 文字轉(zhuǎn)語(yǔ)音播放
#import <AVFoundation/AVFoundation.h>
// 語(yǔ)音表達(dá)
AVSpeechUtterance *utterance = [AVSpeechUtterance speechUtteranceWithString:@"哎呦我擦。你嚇?biāo)牢伊恕?];
utterance.voice = [AVSpeechSynthesisVoice voiceWithLanguage:@"zh-CH"]; // 語(yǔ)言
utterance.rate = 0.4f; // 語(yǔ)速（0 ~ 1）
utterance.pitchMultiplier = 1.0f; // 音調(diào)（0.5 ~ 2.0）
utterance.postUtteranceDelay = 0.1f; // 播放下一句有短暫的暫停
// 語(yǔ)音合成器
AVSpeechSynthesizer *synthesizer = [[AVSpeechSynthesizer alloc] init];
[synthesizer speakUtterance:utterance];
