O 背景
相信很多人不滿足于FFmpeg已有的Filters，對于現有FFmpeg支持Animation動畫能力很不滿足
確實，FFmpeg本身的Filter濾波器并非為動畫而作，而是核心服務于編解碼/轉碼的用戶需求
同時我們也知道，OpenGL作為動畫 2D/3D特效算法開發的首選能力，正好可以彌補FFmpeg對于特效渲染的短板。
今天要給的解決方案：如何在FFmpeg Cmd中使用 OpenGL 自定義 Shader 渲染視頻媒體素材。
主要介紹
FFmpeg-Plus-OpenGL濾鏡對于這個困境的解決方案。
1 FFmpeg-Plus-OpenGL
FFmpeg-Plus-OpenGL 是一個 FFmpeg 下支持OpenGL的擴展濾波器，此項目為一個Patch，可以直接將濾鏡編譯到自己的FFmpeg4+（FFmpeg3的濾鏡 Patch有所不同，略微更改即可）
- 看下這套技術方案具體給我們帶來了哪些效果 (不支持GIF圖 可以到 https://github.com/numberwolf/FFmpeg-Plus-OpenGL 看)
| source | render |
|---|---|
 image.png
|
 image.png
|
使用步驟如下
安裝 編譯
-
相關依賴
-
Centos 7.x+ || Linux
-
第一步 安裝相關依賴
yum install -y glew* yum install -y glfw* # # If can not compile , you need # yum install -y libGLEW* yum install -y mesa yum install -y mesa-libGLU mesa-libGLU-devel -
第二步（可選）
如果你在無顯卡環境下跑此濾鏡（比如你的生產環境服務器）,需要xvfb的支持
yum install -y xorg-x11-server-Xvfb
-
-
Ubuntu || Linux
-
第一步 安裝相關依賴
apt-get install libglfw3-dev libglfw3 apt-get install libglew2.0 libglew-dev -
第二步（可選）
如果你在無顯卡環境下跑此濾鏡（比如你的生產環境服務器）,需要xvfb的支持
apt-get install xvfb
-
-
MacOS下編譯 （需要brew支持）
brew install glew glfw
-
-
編譯構建
-
下載源碼
git clone https://github.com/numberwolf/FFmpeg-Plus-OpenGL.git git clone https://github.com/FFmpeg/FFmpeg.git # for 4.x+ cd FFmpeg # # Patch # cp ../FFmpeg-Plus-OpenGL/Plus-GL-Shader/vf_plusglshader.c libavfilter/ git apply ../FFmpeg-Plus-OpenGL/Plus-GL-Shader/libavfilter.diff -
編譯
-
編譯的
必選項- 和此濾鏡相關--enable-opengl
--extra-libs='-lGLEW -lglfw'
--enable-filter=plusglshader -
編譯示例 - 可以不參考此示例，但是必須加上
必選項#!/bin/bash ./configure \ --enable-cross-compile \ --pkg-config-flags="--static" \ --extra-ldflags="-lm -lz -llzma -lpthread" \ --extra-libs=-lpthread \ --extra-libs=-lm \ --enable-gpl \ --enable-libfdk_aac \ --enable-libfreetype \ --enable-libmp3lame \ --enable-libopus \ --enable-libvpx \ --enable-libx264 \ --enable-libx265 \ --enable-libass \ --enable-libfreetype \ --enable-libfontconfig \ --enable-libfribidi \ --enable-libwebp \ --enable-nonfree \ --disable-shared \ --enable-static \ --enable-opengl \ --extra-libs='-lGLEW -lglfw' \ --enable-filter=plusglshader make clean make -j16 make install
-
-
運行
-
檢查
Plus-GL-Shader:plusglshader濾鏡是否安裝成功-
檢查命令
ffmpeg -help filter=plusglshader -
正確輸出
ffmpeg version a0d68e65 Copyright (c) 2000-2020 the FFmpeg developers built with Apple LLVM version 10.0.0 (clang-1000.10.44.4) configuration: --enable-cross-compile --pkg-config-flags=--static --extra-ldflags='-lm -lz -llzma -lpthread' --extra-libs=-lpthread --extra-libs=-lm --enable-gpl --enable-libfdk_aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvpx --enable-libx264 --enable-libx265 --enable-libass --enable-libfreetype --enable-libfontconfig --enable-libfribidi --enable-libwebp --enable-nonfree --disable-shared --enable-static --enable-opengl --extra-libs='-lGLEW -lglfw' --enable-filter=plusglshader libavutil 56. 51.100 / 56. 51.100 libavcodec 58. 91.100 / 58. 91.100 libavformat 58. 45.100 / 58. 45.100 libavdevice 58. 10.100 / 58. 10.100 libavfilter 7. 85.100 / 7. 85.100 libswscale 5. 7.100 / 5. 7.100 libswresample 3. 7.100 / 3. 7.100 libpostproc 55. 7.100 / 55. 7.100 Filter plusglshader Generic OpenGL shader filter Inputs: #0: default (video) Outputs: #0: default (video) plusglshader AVOptions: sdsource <string> ..FV...... gl fragment shader source path (default is render gray color) vxsource <string> ..FV...... gl vertex shader source path (default is render gray color) This filter has support for timeline through the 'enable' option.
-
-
使用
plusglfilter轉碼渲染 (Transcoding)plusglshader=sdsource='./test_shader.gl':vxsource='./test_vertex.gl'
-
參數項
-
sdsource: Fragment shader file path (Default is gray) -
vxsource: Vertex shader file path (Default is gray)
-
-
濾鏡使用規則
plusglshaderplusglshader=sdsource='./test_shader.gl':vxsource='./test_vertex.gl'
-
用你自己的Shader渲染
-
- Fragment shader
Notice: playTime is timestamp, from 0 -> end
uniform sampler2D tex; uniform float playTime; varying vec2 texCoord; void main() { gl_FragColor = texture2D(tex, texCoord * 0.5 + 0.5); float usePts = max(playTime, 0.4); float gray = (gl_FragColor.r + gl_FragColor.g + gl_FragColor.b) / (usePts * usePts); gl_FragColor.r = gray; gl_FragColor.g = gray; gl_FragColor.b = gray; } -
- Vertex shader
attribute vec2 position; varying vec2 texCoord; void main(void) { gl_Position = vec4(position, 0, 1); texCoord = position; }
-
-
如果在無頭（無顯示器顯卡環境下）環境下使用
你需要xvfb server支持,使用如下命令
xvfb-run -a --server-args="-screen 0 1280x720x24 -ac -nolisten tcp -dpi 96 +extension RANDR" \ ffmpeg -v debug \ -i 1000p10s_9k.mp4 \ -filter_complex "[0:v]plusglshader=sdsource='./test_shader.gl':vxsource='./test_vertex.gl'[1outgl];[1outgl]scale=1280:-2" \ -vcodec libx264 \ -an \ -pix_fmt yuv420p \ -y test.mp4 -
在有頭（顯卡 顯示器）環境下運行
ffmpeg -v debug \ -i 1000p10s_9k.mp4 \ -filter_complex "[0:v]plusglshader=sdsource='./test_shader.gl':vxsource='./test_vertex.gl'[1outgl];[1outgl]scale=1280:-2" \ -vcodec libx264 \ -an \ -pix_fmt yuv420p \ -y test.mp4 -
輸出示例
Tag Src Dst Frame 原圖渲染
-
2 相關幫助
FFmpeg編譯相關幫助
- 如果你不知道如何編譯FFmpeg，請點這里https://trac.ffmpeg.org/wiki/CompilationGuide
