FFmpeg + 流媒體協議

FFmpeg

FFmpeg簡介

• FFmpeg是一個非常強大的音視頻處理庫,包括視頻采集功能、視頻格式轉換、視頻抓圖、給視頻加水印等
• FFmpeg在Linux平臺下開發，但它同樣也可以在其它操作系統環境中編譯運行，包括Windows、Mac OS X等

Mac安裝/使用FFmpeg

• 安裝
  • ruby -e "$(curl -fsSkL raw.github.com/mxcl/homebrew/go)"
  • brew install ffmpeg
• 簡單使用
  • 轉化格式: ffmpeg -i story.webm story.mp4
  • 分離視頻: ffmpeg -i story.mp4 -vcodec copy -an demo.mp4
  • 分離音頻: ffmpeg -i story.mp4 -acodec copy -vn demo.aac
  • 合并：ffmpeg -i "concat:1.mp4|2.mp4" -c copy output.mp4

流媒體協議

HLS(HTTP Live Streaming)

• HTTP Live Streaming（HLS）是蘋果公司實現的基于HTTP的流媒體傳輸協議，可實現流媒體的直播和點播。原理上是將視頻流分片成一系列HTTP下載文件。所以，HLS比RTMP有較高的延遲。HLS基于HTTP協議實現，傳輸內容包括兩部分，一是M3U8描述文件，二是TS媒體文件
  • 相對于常見的流媒體直播協議，例如RTMP協議、RTSP協議、MMS協議等，HLS直播最大的不同在于，直播客戶端獲取到的，并不是一個完整的數據流。HLS協議在服務器端將直播數據流存儲為連續的、很短時長的媒體文件（MPEG-TS格式），而客戶端則不斷的下載并播放這些小文件，因為服務器端總是會將最新的直播數據生成新的小文件，這樣客戶端只要不停的按順序播放從服務器獲取到的文件，就實現了直播。
  • 由此可見，基本上可以認為，HLS是以點播的技術方式來實現直播。
• 工作流程為:
  • 采集視頻源和音頻源的數據
  • 對原始數據進行H264編碼和AAC編碼
  • 視頻和音頻數據封裝為MPEG-TS包
  • HLS分段生成策略及m3u8索引文件
  • HTTP傳輸協議傳輸數據
• 使用FFmpeg命令將mp4文件切換成m3u8&ts切片

// 安裝Homebrew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
// 安裝FFmpeg
brew install ffmpeg
// 執行轉換命令
ffmpeg -i XXX.mp4 -c:v libx264 -c:a copy -f hls XXX.m3u8

RTMP

• RTMP協議是 Adobe 公司開發的一個基于TCP的應用層協議，Adobe 公司也公布了關于RTMP的規范
• TMP本質上是流協議，主要的優勢是：
  • 實時性高：RTMP的實時性在3秒之內，經過多層CDN節點分發后，實時性也在3秒左右,在一些實時性有要求的應用中以RTMP為主。
  • 支持加密：RTMPE和RTMPS為加密協議
  • 穩定性高：HTTP也很穩定，但HTTP是在協議上穩定穩定性不只是服務端的事情，在CDN分發，服務器管理，客戶端的支持上
• RTMP的使用
  • RTMP協議也要客戶端和服務器通過“握手”來建立基于傳輸層鏈接之上的RTMP Connection鏈接，在Connection鏈接上會傳輸一些控制信息
  • TMP協議傳輸時會對數據做自己的格式化，這種格式的消息我們稱之為RTMP Message
  • 而實際傳輸的時候為了更好地實現多路復用、分包和信息的公平性，發送端會把Message劃分為帶有Message ID的Chunk，每個Chunk可能是一個單獨的Message，也可能是Message的一部分，在接受端會根據chunk中包含的data的長度，message id和message的長度把chunk還原成完整的Message，從而實現信息的收發。

iOS中實現推流

推流概述

• 采用RTMP進行推流, 因為該協議實時性非常的高, 但是將Message封裝成Trunk的過程非常麻煩, 所有我們這里直接采用框架實現推流.
• 常見的推流框架
  • Swift框架: lf.swift
  • OC框架: LFLiveKit

推流框架的使用

• LFLiveKit是一個集成了視頻采集-美顏-編碼-推流為一體的框架,并且使用起來非常的簡單, 我們可以在iOS中直接使用該框架進行推流