姓名：劉一婷；學號：20021210599；學院：電子工程學院
轉載于 ：微信公眾號“計算機視覺life”’
原文鏈接：https://mp.weixin.qq.com/s/cR4PmeDF1ZPrs9kbmXYk2Q
【嵌牛導讀】手機后面攝像頭越來越多，它們有什么樣的功能？
【嵌牛鼻子】多攝，TOF，高倍變焦
【嵌牛提問】未來手機攝像的產業趨勢是什么？
【嵌牛正文】
從第一臺帶有攝像頭的手機誕生開始，短短的十幾年內手機攝像技術得到了質的飛躍。防抖、暗光高清、HDR已成手機標配，隨著智能雙攝、智能場景拍攝等AI拍照功能加入，使得手機攝像技術的對標也直指單反。市場的激烈競爭，使得手機廠商自然不會放過每一次技術革新帶來的巨變。隨之而來，作為產業上游——手機攝像產業又會面臨怎么樣的洗牌和迭代故事？
2009-2012單攝像素的追求與3D內容雙攝的嘗試
早期單攝像頭手機時代，手機在拍照方面還是以單純的提高圖像分辨率為主，在普通大眾眼里，“手機像素越高，拍照效果越好”，手機圖像傳感器的分辨率從早期的30萬像素一路飆升到千萬像素以上，手機拍照也就逐漸取代了卡片相機，這一階段隨著2012年Nokia 推出高達4100萬像素808 PureView手機而達到高潮。
由于手機本身追求輕薄化的外觀，硬件的限制導致單純提高分辨率并不能夠有效提升拍攝質量，因為兩千萬的像素已經接近手機圖像傳感器成像的極限，故當前手機拍攝都鎖定在800-2000萬像素之間。
2011年，3D概念非常流行，比如3D電影、3D電視，當時在手機領域大紅大紫的HTC想成為第一個吃螃蟹的廠商，推出了3D手機HTC EVO 3D，后置500萬+500萬像素彩色相機，主要用來拍攝3D照片和3D視頻，實現裸眼3D效果。LG、夏普也隨之推出類似功能。不過，由于當時的3D效果不好，并且實用性較差，3D視頻分享也不方便，這類手機嘗試也隨著3D熱潮退去。
2013-2016多元化需求點燃雙攝走向成熟
2013年，智能手機拍攝已經向夜景/暗光拍攝、防抖拍攝、全景拍攝、HDR拍攝等多元化需求轉變了。在這一年9月，iPhone 5S主打拍攝也進一步刺激了市場。與此同時，HTC再次選擇雙攝想來打個翻身仗，2014年3月，HTC推出了用于背景虛化的雙攝手機One M8，配備主攝400萬+副攝200萬后置彩色攝像頭，目的是想在手機上用雙攝獲取景深以實現單反大光圈的拍攝效果。遺憾的是，HTC雖然硬件設計能力很強，但是雙攝配套軟件，尤其是雙攝核心算法方面還不成熟，其背景虛化效果在稍復雜的的場景便會出現明顯破綻，加上副攝像頭所能提供的細節信息太少，實用性不強，因此并沒有被市場所認可。至此，HTC在雙攝方面兩次嘗試都已失敗告終。
回頭看，全球第一款真正意義的雙攝手機應該是鉑頓（大觀5），這是由酷派在2014年8月推出的。 該手機后置RGB+RGB雙攝，拍攝人物主體銳利突出，背景虛化效果自然，該RGB+RGB雙攝方案得到了用戶和市場的認可，成為后來RGB+RGB的雙攝主流方案。另外，華為在那個年代，也開始在雙攝方面布局，不過華為早期嘗試的是另一種稱之為“拼接雙攝”的技術方案。2014年12月，華為推出了其第一款雙攝手機榮耀6 Plus，后置800萬+800萬像素RGB+RGB配置。這款雙攝手機主打的是低像素合成高像素，也就是兩個800萬像素鏡頭拼接合成一張1300萬像素照片，所以稱之為“拼接雙攝”。不過因為成像效果落后于同時代手機，且背景虛化時前景物體邊緣過度不自然，市場反應平平，因此華為也選擇了淡化這款手機，不再推出其下一代產品。
2015年8月，奇酷360推出 RGB+Mono旗艦版雙攝手機，也是全球首款采用RGB+Mono組合的手機。由于暗光成像效果出色，該雙攝組合后來也成為主流的雙攝配置，為后來該方案大規模普及奠定了基礎。 隨后，2016年4月華為也發布了采用RGB+Mono方案的雙攝手機P9。這款手機與徠卡合作開發，無論是光學水準、品控、鏡頭模組的打磨，還是后期軟件算法的調校都比較出色，能夠實現大光圈、黑白相片、徠卡德味的照片效果。市場反響不錯，因此之后華為大部分旗艦手機都選擇了RGB+Mono的雙攝配置。
安卓廠商的創新也進一步刺激了蘋果公司，2016年9月蘋果推出廣角+長焦（wide+tele）的iPhone 7 plus，該組合的目的是實現光學變焦。這其實是一種非常樸素的變焦思路：用兩個焦距不同的攝像頭搭配，寬視角的廣角鏡頭可以“看”的很廣，但是“看”不清遠處的物體，而窄視角的長焦鏡頭雖然“看”的范圍不大，但是“看”的更遠更清晰。廣角和長焦鏡頭組合搭配，在拍照時通過鏡頭切換和融合算法就能實現相對平滑的光學變焦。高像素的長焦鏡頭能保證廣角鏡頭因變焦而損失的圖像信息遠低于單攝像頭的數字變焦（假變焦），從而得到較好的光學變焦體驗。此次iPhone 7 Plus的雙攝像頭升級是iPhone問世以來在攝像頭方面最大的一次改變。
算法公司與模組廠商是成就雙攝的主要功臣
算法公司對雙攝的發展起了非常大的促進作用，對行業起到最大作用是Linx、ArcSoft虹軟、Altek這三家公司。Linx因被蘋果公司收購而出名，蘋果雙攝基本采用該公司的軟硬件方案。ArcSoft虹軟則是2014年酷派RGB+RGB與2015年奇酷的RGB+MONO的背后雙攝算法提供方，當前各安卓手機的Wide+Tele方案主要也是該公司提供的解決方案, Altek則主要是早期給華為提供雙攝模組以及算法的供應商。
雙攝模組廠商主要有三星電機（SEMCO）、LG Innotek、舜宇（Sunny）、歐菲光（O-Film）、丘鈦（Q-Tech）、信利（Truly）、光寶（Liteon）。早期雙攝市場不明朗的時候，觀望徘徊是雙攝市場的主流，很多安卓手機廠商密切關注蘋果在雙攝方面的動向。保守的策略雖然暫時是安全的，但是也會錯失行業的歷史性機遇。這方面比較有進取心和定力的是大陸老牌模組廠舜宇光學（Sunny Optical），率先在雙攝模組研發方面發力。依靠深厚的技術積淀，舜宇在2015年自研成功了AA設備，為2017年雙攝爆發積蓄好了技術和經驗，最早在雙攝模組領域站穩了腳跟，目前舜宇是大陸雙攝產業鏈中最受益的模組廠商。
單攝像頭手機時代，算法供應商與模組廠之間是獨立運作，不需要交流，廠商直接采購鏡頭，算法公司則直接在手機生產尾期進入調試成像效果，算法供應商在產業鏈中的話語權并不高。而在手機雙攝時代，手機產業鏈格局發生很大變化，雙攝算法供應商開始扮演重要的角色。這是因為手機雙攝軟硬件技術門檻都很高，首先需要模組廠制造出高精度高一致性的雙攝模組，和單攝相比制造難度成指數級上升，但是世界上沒有兩片完全相同的葉子，套用在雙攝模組上也同樣適用，由于制造工藝的誤差，兩顆攝像頭不可避免會在鏡頭參數和組裝精度有所不同，這就需要算法供應商的相機標定算法對誤差進行測量并后期修正。
在雙攝算法中，相機標定可以解決兩個相機生產過程中由于制造誤差產生的光軸不平行問題，同時校正由于廣角鏡頭造成的圖像畸變，是雙攝算法的基石。雙攝模組標定的幾個關鍵評價點是：1、標定精度高，這是雙攝算法基礎；2、標定速度快，對出貨量極大的手機來說時間就是金錢；3、標定方案簡單易用、可以快速部署；4、標定圖案物體尺寸小，方便工作站使用；5、標定方案魯棒性強，具有良好的容錯性，即使出現的偏差也不會對結果有大影響；6、兼容性強，適用于多種雙攝組合，可以重復利用。
雙攝模組一般分為共支架和共基板兩種，其中共支架方案組裝精度更高，而共基板的方案組裝精度低一些，成本也相對低。不過隨著模組廠組裝工藝的不斷改良和提升，兩種方案的精度差別逐漸縮小。此外，最近還有一種“無支架”的概念，所謂“無支架”并不是沒有支架，其本質就是繞開模組廠的封裝和標定，手機廠商把兩顆單獨的鏡頭直接放置在手機上。這種方式雖然看似節省了部分模組封裝的成本，但存在一定的隱患，其一，手機在售后維修過程中，兩顆相機很可能發生移動，如果沒有專業的人員和特有的標定工具進行重新校準，很可能會極大的影響雙攝成像效果，所以手機廠商必須要引進專業的維護人員及新的設備，這無疑增加了售后流程的復雜度和投入成本。其二，即便平時使用過程常見的摔碰、拆機等情況，無支架方案也比主流雙攝方案的手機更容易出現鏡頭錯位的情況，影響消費者的使用體驗，所以，目前這種無支架方案還僅僅在對成本敏感的部分低端機上使用。無支架方案的產生，主要出于手機廠商對成本的考量，雖然各主流算法公司都有在跟進，但前景如何還需市場進一步考驗。
算法供應商需要根據手機廠商的需求，針對不同搭配組合的雙攝模組進行針對性的雙攝算法設計和優化，實現背景虛化、暗光高清、光學變焦等功能。最后手機廠商聯合模組廠、算法供應商等進行拍照效果的聯合調優。雙攝算法門檻極高。主要體現在如下幾點。
算法研發壁壘高。雙攝算法涉及計算攝影學、計算機視覺、光學、攝影美學等多個交叉領域的融合，屬于新興的技術，很多時候是摸著石頭過河，既要緊跟前沿學術研究，又要腳踏實地產品化落地。另外對算法的魯棒性要求極高。一方面由于手機出貨量巨大，且內部集成了成百上千種元器件，很難保證同一型號所有攝像頭模組硬件參數一致；另一方面，用戶拍照場景（環境光照、運動狀態、角度、距離等）千差萬別，這就要求算法能夠在許多不利環境下仍能正常工作，這對算法魯棒性提出了極高的要求。
工程化應用要求高。手機產業對時效性有非常苛刻的要求，如果手機雙攝開發流程出現問題，算法供應商要能夠第一時間幫助客戶定位問題解決問題，這需要非常緊密的上下游產業鏈協同合作和豐富的行業經驗。此外目前大部分雙攝旗艦機都是由算法供應商根據不同的硬件進行高度定制化開發，需要能夠根據客戶的需求進行快速的調整和優化，尤其是手機上市前，算法提供商需要具備一只強大的現場支持工程師團隊。
產業鏈合作要深入。算法提供商提供的其實是一整套雙攝技術解決方案，算法本身是基礎，此外還需要對處理器平臺廠商的處理器架構非常熟悉，形成戰略合作，從而將算法融入處理器平臺，此外需深入了解手機廠商的需求，打通處理器平臺廠商和手機廠商之間的快速通道，幫助客戶將雙攝技術快速落地。
當前，全球能夠提供核心雙攝算法的公司并不多。蘋果、華為都有軟硬件閉環的生態，所以有能力通過收購或者自研的方式組件自己的算法團隊。除了蘋果華為之外，第三方開放算法供應商ArcSoft在安卓市場占據絕對的領導地位，具備所有雙攝組合的解決方案，主流手機八成以上的安卓旗艦手機都采用的ArcSoft的雙攝方案。以色列的算法供應商Core photonics在競爭激烈雙攝領域已逐漸被擠出市場。臺灣的華晶科技（Altek）既做模組也做圖像處理ASIC，其雙攝算法效果比較一般，主要搭配硬件面向低端手機市場出售。
2016-2018雙攝全面爆發，產業鏈基本定格
雙攝已進入標配期，產業鏈也基本定格。根據IHS Markit 提供的數據，2017年全球手機出貨量市場份額如下。中國手機廠商華為、OPPO、vivo、小米的總市場份額約等于三星和蘋果的市場份額之和。而雙攝在中高端設備滲透率已超過50%。
2017年全球top7手機廠商對應的雙攝算法公司、處理器平臺廠商、相機模組廠商如下所示：
目前，雙攝算法主要分為以下幾大陣營。
蘋果依靠收購的Linx公司和自身多年的圖像處理技術的積累，在iOS系統上形成了閉環的生態系統。其推出的雙攝手機均為后置Wide + Tele組合。
安卓旗艦雙攝手機市場，華為憑借內部算法團隊和海思麒麟處理器形成了類似蘋果的生態閉環。其推出的雙攝手機幾乎都是RGB + Mono組合。
除了華為外的其他安卓手機陣營。
ArcSoft虹軟是雙攝算法供應商的引領者，主要面向中高端手機，估計其全球主流雙攝手機出貨量已超過80%。虹軟提供Wide + Tele、RGB + Mono、RGB+RGB全部的雙攝組合解決方案，并且和平臺廠商有非常深入的合作，產品落地能力極強，行業口碑很好。低端雙攝手機方面，手機廠商為了節省成本，一般不會單獨定制雙攝算法，主要是使用平臺廠或模組廠提供硬件時搭配的雙攝算法，效果非常普通，但是價格便宜。
手機攝像頭模組的核心零部件主要包括：圖像傳感器（CIS）、鏡頭（Lens）、音圈馬達（VCM）、紅外濾光片（IRCF）等。主要供應商都集中在亞洲的日本、韓國、中國大陸、中國臺灣地區。根據TrendForce發布的手機產業鏈市場數據， 2017年CMOS傳感器的市場份額最大，之后依次是模組、光學鏡頭、音圈馬達和濾光片。 雙攝應用后，模組封裝技術難度增大，鏡頭要求更高，因此其相應產業鏈的附加值提升速度已加快。
圖像傳感器屬于集成電路芯片范疇，這一領域Sony、Samsung是最重要的兩家公司，其產品主要面向中高端手機，兩者市場份額都占三成左右，總共占據全球一半以上的市場。排名第三的OmniVision已于2016年初被中資集團收購，然后是韓國的SK hynix和中國廠商格科微（GalaxyCore），后者主要面向中低端產品。
雙攝模組廠供應商非常多，位于第一梯隊的主要有：舜宇（Sunny）、歐菲光（O-Film）、三星電機（SEMCO）、LG Innotek（蘋果手機供應商）、丘鈦（Q-Tech）、信利（Truly）、光寶（Liteon）。下圖是2017年手機攝像頭模組廠市場占有率（數據來源：TSR）
雙攝鏡頭供應商方面，臺灣的大立光電（Largan）是絕對的龍頭企業，2017年出貨量占全球市場超過3成份額。此外，出貨量較大的還有中國大陸的舜宇（sunny）、韓國Sekonix等公司。
雙攝音圈馬達供應商主要有：日本的Alps、TDK株式會社、三美電機株式會社（Mitsumi）、韓國的Jahwa幾個廠商。
當前雙攝處理器平臺廠商主要有：高通、三星、蘋果、華為海思、聯發科。
2018-2020手機攝像未來趨勢：向多攝與深攝蔓延
2017年是雙攝手機爆發的元年，如今各大手機廠商旗艦機不管是前置還是后置基本都是雙攝配置，并且隨著雙攝成本的下降，雙攝手機必然將下沉到千元機。接下來，手機攝像頭如何發展，是擺在業內人士的一個問題。對于行業來說未來有挑戰更有機遇：
1
多攝像頭手機方案
雙攝的成功，自然會讓人想到使用更多的攝像頭的方案，第一個嘗試該方案的是華為P20 pro，該機后置采用RGB+Mono+Tele的三攝像頭配置。從鏡頭的功能上來看，既可以利用RGB+Mono的組合實現超級夜景拍攝，也可以利用RGB+Tele實現光學變焦的能力。通過三個鏡頭的視覺差也可以獲取拍攝對象的景深，實現大光圈的效果。通過實際測試，華為P20 Pro三個攝像頭并不能同時工作,只是根據不同的應用場景進行兩兩攝像頭的組合，這種組合本質上是實現可變更組合的雙攝。
三攝鏡頭示意圖
將來可能出現三個及以上更多攝像頭（多攝）的方案，將不同的多攝像頭搭配可以組合出很多的玩法，將不同組合雙攝的優點集中在同一款手機上，所以實用性很強。據悉，下一代蘋果手機也很可能采用多攝像頭的方案。
2
高倍光學變焦
光學變焦在拍照中是非常剛需實用的功能，但目前基于W+T的雙攝手機一般實現的是2倍的光學變焦，和單反甚至帶伸縮變焦鏡頭的卡片機（至少5倍以上的光學變焦）相比，仍然有較大差距。因此，手機產業鏈對光學變焦非常重視，在未來的一兩年內手機上很可能會有以下兩種高倍光學變焦方案
多個（至少3個）定焦鏡頭組合實現高倍光學變焦。本質上和之前雙攝的光學變焦原理類似，但是鏡頭的增加會提高硬件成本，對模組精度要求也較高，再考慮到光學防抖，對算法供應商來說也是一個很大的挑戰。
潛望式光學變焦。其原理是在手機機身內部放置一個和手機屏幕垂直的內驅光學變焦模組，然后利用折射鏡接收外界光線，這相當于讓復雜的光學變焦系統與機身實現了平行設計，不影響手機本身的厚度，而且和單反或伸縮式卡片機相比，可以更好的防塵防水。不過，潛望式光學變焦也有很多缺點：一是復雜的 光學變焦系統對模組制造及手機裝配有非常苛刻的要求，二是后期算法的調教也比較困難。對模組廠和算法 供應商來說都是很大的挑戰。
3
搭配深度相機
結構光方案深度相機
去年蘋果發布了具備前置結構光深度相機的重量級產品：iPhone X，其殺手級的應用就是攜帶了 三維人臉識別技術的Face ID。其中結構光方案采用偽隨機散斑，該核心技術由蘋果公司收購的PrimeSense公司提供。今年，小米、OPPO也推出了前置結構光深度相機的手機。
那么將來會不會前置結構光成為流行趨勢呢？這里要打一個大大的問號。主要有以下幾個考慮：
蘋果的結構光軟硬件方案技術壁壘非常高，處于壟斷地位。就全球手機產業鏈來說，目前能夠提供足夠精度的結構光方案只有蘋果自己的供應鏈。除蘋果外的第三方供應鏈目前精度還相差甚遠，成本也居高不下。
目前安卓手機前置結構光方案和蘋果的技術方案 可能存在專利糾紛，一旦蘋果打專利戰，安卓陣營勝算不大。
結構光方案深度相機應用場景比較單一，主要集中在Face ID、動畫表情、人臉光效及人臉相關應用，未來可擴展應用空間有限。
結構光方案深度相機需要發射器和接收器之間保持一定的距離（基線），模組占用空間較大，這對于空間非常有限的手機來說是很大的劣勢。
總之，結構光方案短時間內仍然掌握在蘋果手中，安卓陣營話語權不大。發展空間有限。
飛行時間方案深度相機
飛行時間（Time Of Fly，簡稱TOF）方案的深度相機在將來會有非常大的發展。和結構光方案相比，飛行時間方案有如下幾點優勢：
TOF方案相對簡單，產業鏈發展的比較成熟，如LG Innotek、Sunny optics、O-Film等一線模組廠都能夠提供高質量模組
TOF方案不需要發射器和接收器之間保持一定的基線，甚至基線為零都可以，因此其模組體積可以做的非常小。非常適合對空間要求苛刻的手機。
TOF方案可以通過發射功率控制使用范圍，既適用于使用距離較近的前置三維人臉應用，也可以在使用距離較遠的三維場景掃描、增強現實等領域使用，應用場景很豐富。
因此，未來一兩年內TOF方案很可能會成為手機深度相機發展的主流趨勢。
4
多功能攝像頭技術和其他圖像技術的融合
隨著多攝像頭與深度相機的使用，手機可獲取到豐富的圖像信息，通過將這些信息融合可以進一步提升暗光拍攝、逆光拍照、美顏、人像打光、HDR（高動態范圍）等功能；另外，AI技術也將與其他技術一起整合，產生更好玩的拍攝功能，除了進一步提升AI解鎖、AI場景識別、Animoji等功能，更多的人臉AR交互與體感交互將有可能是未來的主要方向。
本文來自半導體行業觀察的分享。
