前言

繼智能手機、平板電腦之后，虛擬現實（VR）與增強現實（AR）有潛力成為下一個重大通用計算平臺。

AR領域相對VR關注度較低

報告內容：對AR的發展趨勢、未來的挑戰、潛在應用領域、可能創造和顛覆的市場進行分析和預測。

第一章 AR與VR

VR 和 AR 有著不同的應用領域、技術和市場機會。

AR

定義

AR 是將計算機生成的虛擬世界套在現實世界上，即把數字想象世界加在真實世界之上。

實例

谷歌眼鏡，微軟的 HoloLens，Magic Leap

特征

1、 融合虛擬和現實

與 VR 技術不同的是，增強現實技術不會把使用者與真實世界隔開，而是將計算機生成的虛擬物體和信息疊加增強到真實世界的場景中來，以實現對現實場景更直觀深入的了解和解讀。

增強的信息可以是與真實物體相關的非幾何信息，如視頻、文字，也可以是幾何信息，如虛擬的三維物體和場景。

2、實時交互

通過增強現實系統中的交互接口設備，人們以自然方式與增強現實環境進行交互操作，這種交互要滿足實時性。

3、三維注冊

“注冊”（這里也可以解釋為跟蹤和定位）指的是將計算機產生的

虛擬物體與真實環境進行一一對應，且用戶在真實環境中運動時，也將繼續維持正確的對準關系。

VR

定義

是讓用戶置身于一個想象出來或者重新復制的世界，或是模擬真實的世界。

實例

Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有關 VR 更多的情況，可關注 VR 次元微信公眾號，回復“高盛”和“德銀”，分別獲得高盛VR中文版報告和德銀VR中文版報告）

AR與VR區分方法

VR 需要用一個不透明的頭戴設備完成虛擬世界里的沉浸體驗，而AR需要清晰的頭戴設備看清真實世界和重疊在上面的信息和圖像。

AR與VR發展方向

AR 比較適合服務企業級用戶

VR 同時適用于消費者和企業用戶

有些情況下，兩者還會出現重疊市場。

例如，目前大多數游戲基于VR研發，但微軟也用HoloLens重新創作了《我的世界》這樣的游戲

AR發展簡史

起源

“VR之父”Morton Heilig在上個世紀五、六十年代所發明的 Sensorama Stimulator【Sensorama Stimulator使用圖像、聲音、風扇、香味和震動，讓用戶感受在紐約布魯克林街道上騎著摩托車風馳電掣的場景】

里程碑

第一臺頭戴式AR設備的發明——1968年，哈佛副教授Ivan Sutherland跟他的學生Bob Sproull合作發明了Sutherland稱之為“終極顯示器”的AR設備。使用這個設備的用戶可以通過一個雙目鏡看到一個簡單三維房間模型，用戶還可以使用視覺和頭部運動跟蹤改變視角。也叫為“達摩克利斯之劍”【因為太重啦哈哈哈哈哈】

術語提出

1990年，波音公司研究員Tom Caudell，。Caudell和他的同事設計了一個輔助飛機布線系統，用于代替笨重的示例圖版。這個頭戴設備將布線圖或者裝配指南投射到特殊的可再用方板上。

步入大眾

1998 年，AR 第一次出現在大眾平臺上。電視臺在橄欖球賽電視轉播上使用 AR 技術將得分線疊加到屏幕中的球場上。

用于民生-爆炸式發展開端

AR 技術開始被用于天氣預報——天氣預報制作者將計算機圖像疊加到現實圖像和地圖上面。

2000 年，Bruce H. Thomas 在澳大利亞南澳大學可穿戴計算機實驗室開發了第一款手機室外AR游戲——ARQuake

2008年左右，AR開始被用于地圖等手機應用上。

2013 年，谷歌發布了谷歌眼鏡

2015 年，微軟發布 HoloLens，這是一款能將計算機生成圖像（全息圖）疊加到用戶周圍世界中的頭戴式AR設備

AR硬件概覽

目前能夠確定的AR硬件類型有以下幾種：

? 手持設備（Handheld Devices）

? 固定式AR系統（Stationary AR Systems）

? 空間增強現實（SAR）系統（Spatial Augmented Reality Systems）

? 頭戴式顯示器（Head-mounted Displays ，即HMD）

? 智能眼鏡（Smart Glasses）

? 智能透鏡（Smart Lenses）

手持設備

智能手機正是手持設備的代表。

利益：促進AR普及；設備不斷更新發展

局限：無法實現可穿戴的雙手解放的AR體驗

固定式AR系統

適用于固定場所中需要更大顯示屏或更高分辨率的場景。相對于移動設備，這些極少移動的系統可以搭載更加先進的相機系統，因此能夠更加精確地識別人物和場景。此外，顯示單元往往能呈現出更加真實的畫面，而且受陽光或照明等環境因素影響較小。

實例：服裝店固定式AR衣櫥

空間增強現實（SAR）系統

與其它所有系統不同的是，空間增強現實（SAR）系統的虛擬內容直接投影在現實世界中

SAR系統往往固定在自然中。任何物理表面，如墻、桌、泡沫、木塊甚至是人體都可以成為可交互的顯示屏

SAR系統最大的優點在于，現實世界的反射在這里更加精確，即虛擬信息能夠以實際的比例和大小呈現在眼前。此外在觀看人數較多時，內容也能看清，這個案例可以用來實現同步辦公。

頭戴式顯示器（HMD）

HMD代表著另一種快速發展的AR硬件類型。HMD由一個頭戴裝置（如頭盔），以及與之搭配的一塊或多塊（微型）顯示屏組成。

HMD將現實世界和虛擬物體的畫面重疊顯示在用戶視野中。

單眼HMD和雙眼HMD

HMD可以通過搭載高自由度的傳感器從而實現虛擬和現實的更高貼合

智能眼鏡

用戶的現實世界視角被AR設備截取，增強后的畫面重新顯示在用戶視野中。

智能眼鏡技術最為突出的例子是谷歌眼鏡和Vuzix M100

不過，目前開發中的最令人激動的智能眼鏡要數Atheer One——該智能眼鏡配有3D景深傳感器，用戶可以實際控制眼前顯示的虛擬內容。

智能透鏡

智能透鏡的理念是在傳統透鏡中集成控制電路、通信電路、微型天線、LED及其它光電組件，從而形成一套功能系統。

列難題，比如說如何給透鏡供電，如何保證人眼不受傷害等等

AR應用

考古：在在古代遺跡上顯示遺跡原本的樣子。

藝術：跟蹤眼球移動并將這些移動顯示在屏幕上，幫助殘疾人進行藝術創作。

商業：顯示產品的多種定制選項或者補充信息。

教育：將文本、圖像、視頻和音頻疊加到學生周圍的實時環境中。

時尚：顯示不同的妝容和發型用在一個人身上的效果。

游戲：運用真實世界環境讓用戶在游戲中進行互動，獲得不同的體驗。

醫藥：通過虛擬X光將病人的內臟器官投射到他們的皮膚上

軍事：使用AR眼鏡向士兵展示戰場中出現的人和物體，并附上相關信息，以幫

助士兵避開潛在的危險。

導航：將道路和街道的名字跟其他相關信息一起標記到現實地圖中，或者在擋風

玻璃上顯示目的地方向、天氣、地形、路況、交通信息，提示潛在危險。

體育：顯示橄欖球場的得分線、高爾夫球的飛行路線和冰球移動的軌跡。

電視：在天氣預報中顯示天氣視覺效果和圖像。

第二章 AR的工作原理

AR 介于 VR 和真實世界之間，VR 創造逼真的虛擬世界，AR 則將圖形、聲音、

觸感和氣味添加到真實的世界中。

AR的系統結構

一個典型的AR系統結構由虛擬場景生成單元、透射式頭盔顯示器、頭部跟蹤設

備和交互設備構成。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪制和

其它外設的管理；透射式頭盔顯示器負責顯示虛擬和現實融合后的信號；頭部跟

蹤設備跟蹤用戶視線變化；交互設備用于實現感官信號及環境控制操作信號的輸

入輸出

首先透射式頭盔顯示器采集真實場景的視頻或者圖像，傳入后臺的處理單元對其

進行分析和重構，并結合頭部跟蹤設備的數據來分析虛擬場景和真實場景的相對

位置，實現坐標系的對齊并進行虛擬場景的融合計算；交互設備采集外部控制信

號，實現對虛實結合場景的交互操作。系統融合后的信息會實時地顯示在頭盔顯

示器中，展現在人的視野中。

AR的關鍵技術

技術難點

精確場景的理解、重構；高清晰度、大視場的顯示技術

1. 對現實場景的理解和重構

是什么：理解、知道場景中存在什么樣的對象和目標

在哪里：對場景結構進行分析，實現跟蹤定位和場景重構

物體的檢測和識別技術

目的：發現并找到場景中的目標（場景理解）

含義：基于圖像的基本信息（各類型特征）和先驗知識模型（物體信息表示），通過相關算法實現對場景內容分析的過程。

任務：人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等

分析思路：檢測識別（自然物的一般性特征）；圖像匹配（精確跟蹤）

難點：技術的碎片化（每一類對象有其獨特特征，工作量大；圖像本身受到各種因素印象）

跟蹤定位技術

基于硬件

在實現跟蹤定位的過程中使用一些特殊的測量儀器或設備。常用的設備包括機械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學跟蹤等。

基于視覺

具備更強的擴展性，其系統多為閉環系統，更依賴于優化算法來解決跟蹤精度問題

受限于圖像本身，噪聲、尺度、旋轉、光照、姿態變化等因素都會對跟蹤精度造成較大的影響

研發魯棒性強的算法就成為下一步AR技術的研究重點。一種是基于模板匹配的方式，預先對需要跟蹤的 target 進行訓練，適用特定場景。另外一種是 SLAM 方法，也就是即時定位和地圖構建技術。這類技術不需要預存場景信息，而是在運行階段完成對于場景的構建以及跟蹤。。其優點是不需要預存場景，可以跟蹤較大范圍，適用面廣，在跟蹤的同時也可以完成對于場景結構的重建。

2. 增強現實的顯示技術

透射式頭盔顯示器

根據真實環境的表現形式劃分，主要有視頻透視式頭盔顯示器和光學透視式頭盔顯示器兩種形式。

視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環境的圖像，計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上。

然視頻透射式頭盔在顯示上不受強光的干擾，具有比較大的視場，但由于真實環境的數據來自于攝像頭，因此會造成顯示分辨率較低的不利因素。另一方面，一旦攝像機與用戶視點不能保持完全重合，用戶看到的視頻景象與真實景象將會存在偏差

光學原理的透視式頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現出真實場景和虛擬場景。，光學透視式的“實”來自于真實的光源，經過透視光學系統直接進入眼睛，計算機生成的“虛”則經過光學系統放大后反射進入眼睛，最后兩部分信息匯聚到視網膜上從而形成虛實融合的成像效果。光學透視式頭盔相對來說結構簡單，分辨率更高，因其能夠直接看到外部，真實感和安全性也更強。其缺點是，在室外強光條件下顯示效果會受影響

目前廠商通常采用光學透視頭盔；透視式頭盔受限于厚薄和視場大小沖突的技術阻礙應用有限。

數字光場顯示

不采用屏幕來做載體的顯示方式，通過記錄并復現光場來完成虛擬物體的顯示

或是采用多層的顯示器，如光場立體鏡。如Magic Leap采用的是光導纖維投影儀

第三章 布局

蘋果

種種跡象顯示，蘋果可能和微軟一樣瞄準了AR領域，并非時下最熱的VR。

蘋果已經在AR領域進行過一些并購交易（Metaio 的德國 AR 公司。該公司主要開發基于智能手機的 AR 應用軟件，家具視覺化；事臉部視覺識別的公司——FaceShift；了以色列的硬件公司PrimeSense；儲備一些和AR有關的技術專利）

不過迄今為止，蘋果從未對外宣布過開發AR硬件、軟件等產品的計劃。蘋果向來并不喜歡做新技術的第一批嘗鮮者，而是善于在市面已有的產品門類中拿出用戶體驗十分優秀的產品，依靠蘋果的品牌力大規模占領市場。因此在 AR 領域，蘋果也會選擇一個相對成熟的時機再進入市場。

微軟

是布局 AR 比較超前的巨頭公司，其在 2015 年就推出了 AR 頭盔HoloLens

【HoloLens實際上就是欺騙大腦，將光線以全息圖的方式發射到你眼睛中，就好

像物體真的存在于現實世界中一樣。在企業方面，HoloLens 最明顯的應用就是實現 3D 模型或設計的可視化可用于企業視頻會議或產品全息等】

谷歌

谷歌當前在VR領域比較活躍，如推出硬件產品 Cardboard頭盔，YouTube上線 360 度全景視頻功能，還提供 Tilt Brush、Jump 和 Assembler 等 VR 小應用，但這并不意味著谷歌放棄了 AR 市場

谷歌和聯想合作，推出Project Tango項目。該項目旨在賦予智能手機3D繪圖和創造AR體驗的能力

投資了AR創業公司Magic Leap

第四章 AR市場潛力

最新預測指出，到2017年，AR市場將增長至52億美元，年增長率竟逼近100%。

AR比VR更具增長潛力

市場調研公司Digi-Capital給出的一組數據很值得研究：到2020年，AR的市場規模將達到1200億美元，遠高于VR的300億美元。

AR的軟件與服務擁有可與如今的移動市場相媲美的經濟效應，它們都可以利用現有的其他產品的市場，并不斷擴張它們。，AR技術有可能觸及到更多的人，因為它是對人們日常生活的無縫補充，而不是像VR那樣在現實世界之外營造出一個完全虛擬的世界。

第五章 AR面臨的挑戰

對于AR而言，解決注冊任務是最核心的問題

注冊對精度的要求極為嚴格：由于AR應以實時、六個自由度的形式將虛擬信息和現實信息相融合因此，移動 AR 存在兩大難點：注冊必須極為精準，注冊對計算能力和內存的利用必須極為高效。

智能手機是 AR 大眾市場最具前景的平臺，但是AR應用在智能手機上的大規模部署仍然存在著下列重大障礙：

1、相機質量與成像處理

2、電量消耗

3、網絡依賴性

4、可視化與交互的可能性

以及在實踐中，AR應用的開發者卻要看硬件廠商和服務供應商的臉色，后者做出硬件發展

決策的依據是市場預測，而其中可能不含對AR的需求。

計算機視覺面臨的挑戰

智能手機的一大優勢在于，定位不必單單依賴于相機傳感器，也可以利用其它任意可用的傳感器即便在結合了多種傳感器的幫助下，基于CV的定位仍然非常困難，一系列原因列舉如下

紋理結構；光照和天氣條件；數據庫規模大、易變化；失準及丟失的傳感信息

精準定位是AR亟待解決的最為重要的任務。但正如上面所述，仍然存在著一些重大挑戰，仍需針對這些挑戰尋找真正切實有效的解決方案

其他挑戰

下面列舉了一些與智能手機有關、同時也與AR一般用途有關的問題：

目前智能手機中相機及其它傳感器質量不足以滿足AR 的高要求

動態場景與AR真實感的矛盾

內容創作與注冊的矛盾

第六章 順應AR潮流

近些年，AR引起了市場營銷人員的注意，因為它可能改變消費者的購物體驗，例如尋找新產品以及決定購買哪個產品。

但是，要發揮AR的潛力，公司應該克制草率開發AR應用程序的沖動，而把注意力放到深入理解消費者與 AR 技術互動的方式上來。設計和執行有價值的 AR應用程序必須遵守以下幾點：

·深入理解消費者如何使用AR技術

·加強電腦專家、設計師和市場營銷人員之間的合作

·在消費者現有購物體驗中整合AR應用程序

AR技術的獨特性

應用AR的目的是讓消費者對產品產生好感

應用AR的關鍵在于給消費者創造價值

AR 技術商業化的真正使命是整合 AR 技術提高消費者體驗

第七章 AR應用案例

在這一章中，我們將探索AR這一新興技術目前在不同領域的運用情況，并預測有可能成為未來主流的最佳實踐

情境敏感式信息——在恰當的事件地點出現的信息

第一類是情境敏感式信息，涵蓋能夠根據特定情境輕松獲取互聯網已有靜態數據的各種應用

Wikitude和Metaio公司的Junaio（魔眼）

數字信息、語言翻譯、面部檢測、維修設備信息

增強感知——成為人類2.0

主要由設備傳感器收集的數據生成新的信息，實現增強現實。這一系列設備能夠增強我們的感知，延伸人類能力，超越目前我們所能取得的成就

Recon Jet、iOnRoad

監測生命體征和周圍環境、導航、外科向導、軍方

混合現實模擬——在現實中探索虛擬

用戶可以在現實環境中動態地更換或調整虛擬物體。

宜家應用 Ikea Catalog、優衣庫的試衣魔鏡、佳能推出的MRERL、空中客車公司（Airbus）MiRA、

虛擬界面——在虛擬中控制現實

手勢、家庭自動化系統Revolv、1號店（AR連鎖超市）

基于AR的界面不局限于計算機設備。還能用來控制汽車，娛樂設備，以及加熱系統這樣的家居配套設施。

例：物流中的AR

AR可以讓物流供應商隨時隨地快速獲預期信息：倉庫運作、運輸優化、最后一公里配送、強化增值服務