Android OpenGL ES預(yù)熱: 視頻展示控件之 SurfaceView、GLSurfaceView、SurfaceTexture、TextureView 對(duì)比總結(jié)

前言

OpenGL預(yù)熱,為什么叫預(yù)熱是因?yàn)樘淞恕?br> 建議去看參考文章。

SurfaceView:獨(dú)立繪圖層的View 、Surface就是指SurfaceView所擁有的那個(gè)繪圖層,其實(shí)它就是內(nèi)存中的一段繪圖緩沖區(qū)、具有兩個(gè)Surface,也就是雙緩沖機(jī)制、SurfaceHolder就是Surface的持有者。
GLSurfaceView:GLSurfaceView作為SurfaceView的補(bǔ)充,可以看作是SurfaceView的一種典型使用模式。
SurfaceTextureandroid.graphics.SurfaceTexture SurfaceTexture和SurfaceView不同的是,它對(duì)圖像流的處理并不直接顯示,而是轉(zhuǎn)為GL外部紋理,因此可用于圖像流數(shù)據(jù)的二次處理(如Camera濾鏡,桌面特效等)。
用來捕獲視頻流中的圖像幀的,視頻流可以是相機(jī)預(yù)覽或者視頻解碼數(shù)據(jù)。
TextureView:TextureView可以通過getSurfaceTexture()方法來獲取TextureView相應(yīng)的SurfaceTexture。但是最好的方式還是使用TextureView.SurfaceTextureListener監(jiān)聽器來對(duì)SurfaceTexture的創(chuàng)建銷和毀進(jìn)行監(jiān)聽,因?yàn)間etSurfaceTexture可能獲取的是空對(duì)象。

下面是google sourse給出的解釋,學(xué)習(xí)了OpenGL就會(huì)更加明了::

  • SurfaceView 和 GLSurfaceView。SurfaceView 結(jié)合了 Surface 和 View。SurfaceView 的 View 組件由 SurfaceFlinger(而不是應(yīng)用)合成,從而可以通過單獨(dú)的線程/進(jìn)程渲染,并與應(yīng)用界面渲染隔離。GLSurfaceView 提供幫助程序類來管理 EGL 上下文、線程間通信以及與“Activity 生命周期”的交互(但使用 GLES 時(shí)并不需要 GLSurfaceView)。
  • SurfaceTexture。SurfaceTexture 將 Surface 和 GLES 紋理相結(jié)合來創(chuàng)建 BufferQueue,而您的應(yīng)用是 BufferQueue 的消費(fèi)者。當(dāng)生產(chǎn)者將新的緩沖區(qū)排入隊(duì)列時(shí),它會(huì)通知您的應(yīng)用。您的應(yīng)用會(huì)依次釋放先前占有的緩沖區(qū),從隊(duì)列中獲取新緩沖區(qū)并執(zhí)行 EGL 調(diào)用,從而使 GLES 可將此緩沖區(qū)作為外部紋理使用。Android 7.0 增加了對(duì)安全紋理視頻播放的支持,以便用戶能夠?qū)κ鼙Wo(hù)的視頻內(nèi)容進(jìn)行 GPU 后處理。
  • TextureView。TextureView 結(jié)合了 View 和 SurfaceTexture。TextureView 對(duì) SurfaceTexture 進(jìn)行包裝,并負(fù)責(zé)響應(yīng)回調(diào)以及獲取新的緩沖區(qū)。在繪圖時(shí),TextureView 使用最近收到的緩沖區(qū)的內(nèi)容作為其數(shù)據(jù)源,根據(jù) View 狀態(tài)指示,在它應(yīng)該渲染的任何位置和以它應(yīng)該采用的任何渲染方式進(jìn)行渲染。View 合成始終通過 GLES 來執(zhí)行,這意味著內(nèi)容更新可能會(huì)導(dǎo)致其他 View 元素重繪。

參考文章

  1. https://www.cnblogs.com/renhui/p/8258391.html
  2. https://blog.csdn.net/jinzhuojun/article/details/44062175

使用總結(jié)

一、SurfaceView

SurfaceView繼承自View,并提供了一個(gè)獨(dú)立的繪圖層,你可以完全控制這個(gè)繪圖層,比如說設(shè)定它的大小,所以SurfaceView可以嵌入到View結(jié)構(gòu)樹中,需要注意的是,由于SurfaceView直接將繪圖表層繪制到屏幕上,所以和普通的View不同的地方就在與它不能執(zhí)行Transition,Rotation,Scale等轉(zhuǎn)換,也不能進(jìn)行Alpha透明度運(yùn)算。

SurfaceView的Surface排在Window的Surface(也就是View樹所在的繪圖層)的下面,SurfaceView嵌入到Window的View結(jié)構(gòu)樹中就好像在Window的Surface上強(qiáng)行打了個(gè)洞讓自己顯示到屏幕上,而且SurfaceView另起一個(gè)線程對(duì)自己的Surface進(jìn)行刷新。需要注意的是SurfaceHolder.Callback的所有回調(diào)方法都是在主線程中回調(diào)的。

SurfaceView、SurfaceHolder、Surface的關(guān)系可以概括為以下幾點(diǎn):

  • SurfaceView是擁有獨(dú)立繪圖層的特殊View。
  • Surface就是指SurfaceView所擁有的那個(gè)繪圖層,其實(shí)它就是內(nèi)存中的一段繪圖緩沖區(qū)。
  • SurfaceView中具有兩個(gè)Surface,也就是我們所說的雙緩沖機(jī)制
  • SurfaceHolder顧名思義就是Surface的持有者,SurfaceView就是通過過SurfaceHolder來對(duì)Surface進(jìn)行管理控制的。并且SurfaceView.getHolder方法可以獲取SurfaceView相應(yīng)的SurfaceHolder。
  • Surface是在SurfaceView所在的Window可見的時(shí)候創(chuàng)建的。我們可以使用SurfaceHolder.addCallback方法來監(jiān)聽Surface的創(chuàng)建與銷毀的事件。

上面的文章結(jié)合下面更容易理解:
SurfaceView它繼承自類View,因此它本質(zhì)上是一個(gè)View。但與普通View不同的是,它有自己的Surface。我們知道,一般的Activity包含的多個(gè)View會(huì)組成View hierachy的樹形結(jié)構(gòu),只有最頂層的DecorView,也就是根結(jié)點(diǎn)視圖,才是對(duì)WMS可見的。這個(gè)DecorView在WMS中有一個(gè)對(duì)應(yīng)的WindowState。相應(yīng)地,在SF中對(duì)應(yīng)的Layer。而SurfaceView自帶一個(gè)Surface,這個(gè)Surface在WMS中有自己對(duì)應(yīng)的WindowState,在SF中也會(huì)有自己的Layer。
如下圖所示:


圖片

也就是說,雖然在App端它仍在View hierachy中,但在Server端(WMS和SF)中,它與宿主窗口是分離的。這樣的好處是對(duì)這個(gè)Surface的渲染可以放到單獨(dú)線程去做,渲染時(shí)可以有自己的GL context。這對(duì)于一些游戲、視頻等性能相關(guān)的應(yīng)用非常有益,因?yàn)樗粫?huì)影響主線程對(duì)事件的響應(yīng)。但它也有缺點(diǎn),因?yàn)檫@個(gè)Surface不在View hierachy中,它的顯示也不受View的屬性控制,所以不能進(jìn)行平移,縮放等變換,也不能放在其它ViewGroup中,一些View中的特性也無法使用。

二、TextureView

TextureView專門用來渲染像視頻或OpenGL場(chǎng)景之類的數(shù)據(jù)的,而且TextureView只能用在具有硬件加速的Window中,如果使用的是軟件渲染,TextureView將什么也不顯示。也就是說對(duì)于沒有GPU的設(shè)備,TextureView完全不可用。
和SurfaceView不同,它不會(huì)在WMS中單獨(dú)創(chuàng)建窗口,而是作為View hierachy中的一個(gè)普通View,因此可以和其它普通View一樣進(jìn)行移動(dòng),旋轉(zhuǎn),縮放,動(dòng)畫等變化。

TextureView 有兩個(gè)相關(guān)類 SurfaceTexture、Surface,下面說明一下幾者相關(guān)的特點(diǎn):

  • Surface就是SurfaceView中使用的Surface,就是內(nèi)存中的一段繪圖緩沖區(qū)。
  • SurfaceTexture用來捕獲視頻流中的圖像幀的,視頻流可以是相機(jī)預(yù)覽或者視頻解碼數(shù)據(jù)。SurfaceTexture可以作為android.hardware.camera2, MediaCodec, MediaPlayer, 和 Allocation這些類的目標(biāo)視頻數(shù)據(jù)輸出對(duì)象。可以調(diào)用updateTexImage()方法從視頻流數(shù)據(jù)中更新當(dāng)前幀,這就使得視頻流中的某些幀可以跳過。
  • TextureView可以通過getSurfaceTexture()方法來獲取TextureView相應(yīng)的SurfaceTexture。但是最好的方式還是使用TextureView.SurfaceTextureListener監(jiān)聽器來對(duì)SurfaceTexture的創(chuàng)建銷和毀進(jìn)行監(jiān)聽,因?yàn)間etSurfaceTexture可能獲取的是空對(duì)象。
  1. TextureView繼承自View,它與其它的View一樣在View hierachy中管理與繪制。
  2. TextureView重載了draw()方法,其中主要把SurfaceTexture中收到的圖像數(shù)據(jù)作為紋理更新到對(duì)應(yīng)的HardwareLayer中。
  3. SurfaceTexture.OnFrameAvailableListener用于通知TextureView內(nèi)容流有新圖像到來。
  4. SurfaceTextureListener接口用于讓TextureView的使用者知道SurfaceTexture已準(zhǔn)備好,這樣就可以把SurfaceTexture交給相應(yīng)的內(nèi)容源。
  5. Surface為BufferQueue的Producer接口實(shí)現(xiàn)類,使生產(chǎn)者可以通過它的軟件或硬件渲染接口為SurfaceTexture內(nèi)部的BufferQueue提供graphic buffer。

盜用一張圖演示:


圖片

三、GLSurfaceView

GLSurfaceView作為SurfaceView的補(bǔ)充,可以看作是SurfaceView的一種典型使用模式。在SurfaceView的基礎(chǔ)上,它加入了EGL的管理,并自帶了渲染線程。另外它定義了用戶需要實(shí)現(xiàn)的Render接口,提供了用Strategy pattern更改具體Render行為的靈活性。作為GLSurfaceView的Client,只需要將實(shí)現(xiàn)了渲染函數(shù)的Renderer的實(shí)現(xiàn)類設(shè)置給GLSurfaceView即可。

四、SurfaceTexture

SurfaceTexture和SurfaceView不同的是,它對(duì)圖像流的處理并不直接顯示,而是轉(zhuǎn)為GL外部紋理,因此可用于圖像流數(shù)據(jù)的二次處理(如Camera濾鏡,桌面特效等)。比如Camera的預(yù)覽數(shù)據(jù),變成紋理后可以交給GLSurfaceView直接顯示,也可以通過SurfaceTexture交給TextureView作為View heirachy中的一個(gè)硬件加速層來顯示。首先,SurfaceTexture從圖像流(來自Camera預(yù)覽,視頻解碼,GL繪制場(chǎng)景等)中獲得幀數(shù)據(jù),當(dāng)調(diào)用updateTexImage()時(shí),根據(jù)內(nèi)容流中最近的圖像更新SurfaceTexture對(duì)應(yīng)的GL紋理對(duì)象,接下來,就可以像操作普通GL紋理一樣操作它了。

強(qiáng)調(diào)一下

GLSurfaceView的特性:
1.管理一個(gè)surface,這個(gè)surface就是一塊特殊的內(nèi)存,能直接排版到android的視圖view上。
2.管理一個(gè)EGL display,它能讓opengl把內(nèi)容渲染到上述的surface上。
3.用戶自定義渲染器(render)。
4.讓渲染器在獨(dú)立的線程里運(yùn)作,和UI線程分離。
5.支持按需渲染(on-demand)和連續(xù)渲染(continuous)。
6.可以封裝、跟蹤并且排查渲染器的問題。
因?yàn)橄旅嫖覀円龅氖虑榫褪窃?GLSurfaceView上面進(jìn)行的!!!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,250評(píng)論 6 530
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 97,923評(píng)論 3 413
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,041評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,475評(píng)論 1 308
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,253評(píng)論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,801評(píng)論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,882評(píng)論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,023評(píng)論 0 285
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,530評(píng)論 1 331
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,494評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,639評(píng)論 1 366
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,177評(píng)論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 43,890評(píng)論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,289評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,552評(píng)論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,242評(píng)論 3 389
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,626評(píng)論 2 370