人機(jī)交互方式發(fā)展太快了,它與我們的生物反應(yīng)及處理過程同步,例如眼球轉(zhuǎn)動(dòng)、思維過程、動(dòng)覺、文化偏好等,所以最近想收集整理這方面的知識(shí)。
VR產(chǎn)品的構(gòu)成
目前VR產(chǎn)品由計(jì)算設(shè)備、顯示終端和輔助設(shè)備三部分構(gòu)成。
計(jì)算設(shè)備包含了基于GPU/CPU的硬件與虛擬現(xiàn)實(shí)軟件體系,用于圖形渲染、邏輯運(yùn)算、數(shù)據(jù)的存儲(chǔ)與傳輸?shù)取?/p>
顯示終端目前主要是頭盔形式,其中包含高清顯示屏幕、光學(xué)鏡片、陀螺儀等,向用戶展示計(jì)算設(shè)備輸出的VR畫面,并捕捉用戶頭部位置與角度等信息。
輔助設(shè)備,包含了交互控制、定位感應(yīng)、動(dòng)作捕捉、手勢(shì)識(shí)別等設(shè)備,用于提升用戶沉浸式操控體驗(yàn)。
VR常見產(chǎn)品形態(tài)
VR頭戴硬件設(shè)備包含三大常見產(chǎn)品形態(tài):頭盔、眼鏡、一體機(jī)。
頭盔是VR設(shè)備巨頭們主打的高端產(chǎn)品,高端頭盔在像素、視野、刷新率上有絕對(duì)的優(yōu)勢(shì),使用有線連接主機(jī)與頭盔,減少了延遲,設(shè)備本身融合了多重傳感器技術(shù)以及室內(nèi)空間定位技術(shù),是目前沉浸感最好的VR產(chǎn)品。
眼鏡利用手機(jī)作為計(jì)算設(shè)備并應(yīng)用手機(jī)內(nèi)置陀螺儀定位和屏幕顯示,眼鏡只用包含內(nèi)置光學(xué)鏡片,手機(jī)+眼鏡的VR產(chǎn)品價(jià)格便宜、門檻低,各公司的產(chǎn)品除了外觀上不同,基本技術(shù)原理如出一轍。眼鏡具有體驗(yàn)效果較差,無法提供精確定位與較好的交互體驗(yàn)的缺陷。VR眼鏡是不透明的,只顯示虛擬世界,把物理世界完全擋住。
一體機(jī)是指將計(jì)算設(shè)備內(nèi)置于VR頭盔中,由頭盔完成從邏輯運(yùn)算、3D圖形渲染到屏幕展示的一體化功能,該類產(chǎn)品沉浸體驗(yàn)感相對(duì)PC+頭盔設(shè)備有所欠缺,但其價(jià)格適中、并具有移動(dòng)屬性
原理:
用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,奇、偶幀之間的不同也就是視差就產(chǎn)生了立體感。當(dāng)我們向左看,頭部追蹤技術(shù)能夠識(shí)別這一動(dòng)作,這時(shí)硬件就會(huì)即時(shí)渲染出左邊的場景,這樣,我們往左看就能看到左邊的場景,往右看則能看到右邊的場景,而不會(huì)發(fā)生場景跟著我們移動(dòng)的意外。眼球跟蹤技術(shù)是通過追蹤我們的瞳孔實(shí)現(xiàn)的,算法能夠根據(jù)我們注視的景物來變換景深,從而帶來更出色的沉浸體驗(yàn)。
交互方式:
1)動(dòng)作捕捉 2)眼球追蹤 3)頭部跟蹤 4)語音交互 5)傳感器 6)觸覺反饋(振動(dòng)) 7)手勢(shì)跟蹤?
產(chǎn)業(yè)鏈:
VR關(guān)鍵技術(shù):
VR硬件廠商:
Oculus、索尼(PlayStation VR)、HTC(Vive)和三星(Gear VR)
VR開發(fā)平臺(tái):
Unity,Unreal Engine,CryENGINE,Source Engine
Web上開發(fā)VR應(yīng)用,有下面三種方式:
HTML5+ Java Scnipt + WebGL + WebVR API
傳統(tǒng)引擎 + Emscripten
第三方工具,如A-Frame
第一種方法是使用WebGL與WebVR API結(jié)合,在常規(guī)Web端三維應(yīng)用的基礎(chǔ)上通過API與VR設(shè)備進(jìn)行交互,進(jìn)而得到對(duì)應(yīng)的VR實(shí)現(xiàn)。第二種是在傳統(tǒng)引擎開發(fā)內(nèi)容的基礎(chǔ)上,比如Unity、Unreal等,使用Emscripten將C/C++代碼移植到Java Scnipt版本中,進(jìn)而實(shí)現(xiàn)Web端的VR。第三種是在封裝第一種方法的基礎(chǔ)上,專門面向沒有編程基礎(chǔ)的普通用戶來生產(chǎn)Web端VR內(nèi)容。
具體如何開發(fā)見這篇
目前火狐、IE、谷歌都支持了
VR主要公司:
VR應(yīng)用場景分析
目前火熱VR應(yīng)用開發(fā)主要集中在VR+游戲、教育、影視、社交、購物等領(lǐng)域。
“VR+”出行:
VR旅游借助VR頭盔,將景色、文化、歷史等以3D交互視頻的形式,360度全景式呈現(xiàn)在用戶眼前。用戶可以借助虛擬現(xiàn)實(shí)來實(shí)現(xiàn)預(yù)覽、規(guī)劃、演示的目的,更輕松的指定行程和計(jì)劃。對(duì)于感興趣的目的地,能夠選擇性的體驗(yàn)其民俗風(fēng)情和景點(diǎn)特色,進(jìn)行真實(shí)旅游前的一次預(yù)觀光,將比從互聯(lián)網(wǎng)搜尋旅游攻略更有效。全新的虛擬現(xiàn)實(shí)旅游體驗(yàn)?zāi)J剑瑢⒏淖內(nèi)藗兊穆糜畏绞剑蔀槲磥砺眯小⒂^光、文化傳播的一種重要發(fā)展方向。
“VR+”房地產(chǎn):
VR技術(shù)為用戶提供360度全景沉浸式看房體驗(yàn),使購房者不用再約時(shí)間去真實(shí)樓盤看房,減少了看房過程的繁瑣與糾紛,提高了時(shí)間使用合理度與交易效率。購房者帶上VR頭盔,進(jìn)入房地產(chǎn)開發(fā)商開發(fā)的VR樣板房系統(tǒng),可直觀感受房間布局與內(nèi)部結(jié)構(gòu)。用戶對(duì)環(huán)境設(shè)施、房屋結(jié)構(gòu)、門窗位置以至裝修方案提出自己的意見,可以大幅度提高生產(chǎn)生產(chǎn)效率。
“VR+”購物:
VR購物將成為繼移動(dòng)互聯(lián)網(wǎng)購物的新一代購物方式。用戶使用VR頭盔可以進(jìn)入到自己常去的大型步行街進(jìn)行逛街購物,可以對(duì)物品細(xì)節(jié)進(jìn)行觀察甚至進(jìn)行使用。更多的商品可以采用定制的形式進(jìn)行生產(chǎn)銷售,用戶對(duì)物品的尺寸、材質(zhì)等信息提出自己的想法,進(jìn)而進(jìn)行定制生產(chǎn),這將減少物品過多生產(chǎn)浪費(fèi)。
“VR+”社交:
作為VR全景內(nèi)容生成器,其主打VR全景照片和視頻拍攝,可一鍵拍攝720度VR全景照片和視頻,全方位全維度記錄生活場景,拍攝畫面更全、內(nèi)容更多,機(jī)內(nèi)秒級(jí)自動(dòng)拼接渲染,即時(shí)實(shí)現(xiàn)回放拍攝內(nèi)容,提供多種濾鏡個(gè)性化編輯功能,快捷分享到微信、微博等各大社交平臺(tái),同時(shí)還支持新浪微博VR全景視頻直播。
此外,普通手機(jī)通過鏈接就可瀏覽VR全景照片和視頻,支持普通、魚眼、小行星、小星球和VR眼鏡等多種瀏覽模式,可使用手指上下左右滑動(dòng)畫面或轉(zhuǎn)動(dòng)手機(jī)使用隨動(dòng)顯示功能,以交互的方式瀏覽720度VR全景畫面,帶給用戶平面拍攝無法實(shí)現(xiàn)的多種震撼空間觀感,享受VR全景照片和視頻給予的身臨其境的全景視覺體驗(yàn)。令人驚喜的的是,在瀏覽設(shè)置里選擇VR眼睛模式,可以通過VR眼罩瀏覽VR全景拍攝內(nèi)容,享受沉浸式體驗(yàn)。
“VR+”教育:
1)在加州的貝爾蒙特,高中的生物學(xué)老師一直都在使用zSpace Studio的混合現(xiàn)實(shí)電腦進(jìn)行教學(xué)。這種電腦配置有特殊的眼鏡,可以讓細(xì)胞和器官在3D屏幕上“彈出”,從而幫助學(xué)生更好地了解心臟的工作原理。
通過使用諸如Cyber Science、zSpace Studio以及Human Anatomy Atlas的應(yīng)用程序,學(xué)生可以清楚地觀察到,隨著心臟的跳動(dòng),動(dòng)脈的血液在一直流動(dòng),而且血管時(shí)刻打開和關(guān)閉。
2)職業(yè)技術(shù)學(xué)校:“虛擬汽車培訓(xùn)應(yīng)用程序?qū)啄昵暗摹捌嚿痰辍鳖悜?yīng)用推到了一個(gè)全新的水平。傳統(tǒng)的教科書和課件是二維的,而實(shí)際的汽車訓(xùn)練是不可逆且昂貴。”zSpace的總裁兼首席執(zhí)行官Paul Kellenberger在一份聲明中說,“通過VR應(yīng)用,學(xué)生們反復(fù)練習(xí)維修和技術(shù),建立強(qiáng)大的技能,也為學(xué)校節(jié)省資了金和上課空間。”
“VR+”公共安全:
模擬現(xiàn)實(shí):《VR地震逃生》通過虛擬現(xiàn)實(shí)技術(shù)模擬家庭地震來臨時(shí)的現(xiàn)場環(huán)境,引導(dǎo)體驗(yàn)者在感受到地震的緊張、急迫的同時(shí),通過冷靜判斷,找到逃生的正確方式。
“VR+”買前試"吃":
1)近日在紐約舉辦的一次ARKit聚會(huì)上,一家公司展示了一款基于ARKit的應(yīng)用,借助該應(yīng)用,顧客在點(diǎn)菜的時(shí)候可以把各個(gè)菜品可視化,這就大大方便了文字閱讀有困難或者語言不通的顧客。此外,基于ARKit的應(yīng)用還可用于裝修,比如消費(fèi)者可以借助基于ARKit的應(yīng)用在買沙發(fā)前看看把沙發(fā)放在家里好不好看,再?zèng)Q定是否購買
2)汽車制造商馬自達(dá)將在其購物中心之旅加入向客戶提供VR實(shí)車測試
VR用戶發(fā)現(xiàn),能夠在買家具前看看把家具放在家里是什么樣,用VR試試車還有虛擬試衣是很有意思的。
3)利用電子商務(wù)網(wǎng)站的產(chǎn)品數(shù)據(jù),生成高度逼真的AR圖像,包括珠寶、眼鏡、手表和家具。該專利認(rèn)為,讓消費(fèi)者在購買前“試用”產(chǎn)品能夠減少退貨(多數(shù)在線零售商的主要支出項(xiàng))、減少“維護(hù)店面的后勤事務(wù)和成本”。用攝像頭和傳感器來追蹤消費(fèi)者及其所在環(huán)境,并移動(dòng)物體,創(chuàng)造“穿戴”體驗(yàn)。
4)它縮短的是房屋的銷售周期。如果 VR 的體驗(yàn)夠真實(shí),一家樓盤可能在動(dòng)土開工前就收獲一批買家。搭建實(shí)體樣板間的時(shí)間也被縮短的話,營銷人員可以提前鎖定客戶、提前銷售。
“VR+”婚禮服務(wù):
由HEY VR制作出品的《我的VR婚禮》,讓沒有去到現(xiàn)場的你戴上VR眼鏡,瞬間脫離現(xiàn)實(shí)世界,完全置身于海島婚禮的美妙體驗(yàn)中。
VR前景:
1)移動(dòng)性和電池續(xù)航等問題尚未解決。
2)VR和VR技術(shù)目前還很難說服人們?cè)谂_(tái)式機(jī)、筆記本、平板電腦和智能手機(jī)之外,再購買額外的HMD設(shè)備
3)存在延遲、顯示、安全、醫(yī)療隱私和其他方面的挑戰(zhàn)
4)無線連接與HMD設(shè)備的普及程度。HMD設(shè)備要想真正騰飛,必須要解決無線連接問題。更快的WiFi或蜂窩技術(shù)連接能滿足HMD設(shè)備所需的大量數(shù)據(jù)傳輸,將成為確保HMD設(shè)備大規(guī)模普及的重要保障。另一方面,新的壓縮技術(shù)也能加快無線連接傳輸速度。
5)暈屏(看屏幕時(shí)有惡心、眩暈的感覺)是最迫切需要解決的問題,因?yàn)樵谶^去這就是一個(gè)最大的阻力之一。
6)電池技術(shù)是確保HMD設(shè)備移動(dòng)性的關(guān)鍵瓶頸。另一方面,快速充電即使也是一個(gè)中長期解決方案。
7)價(jià)格降低是硬件普及的關(guān)鍵因素
----------------------------------
AR和VR區(qū)別:
區(qū)分VR和AR的一個(gè)簡單的方法是:VR需要用一個(gè)不透明的頭戴設(shè)備完成虛擬世界里的沉浸體驗(yàn),而AR需要清晰的頭戴設(shè)備看清真實(shí)世界和重疊在上面的信息和圖像。
從目前的觀察來看,AR比較適合服務(wù)企業(yè)級(jí)用戶,而VR同時(shí)適用于消費(fèi)者和企業(yè)用戶。
AR硬件產(chǎn)品形態(tài):
? 手持設(shè)備(Handheld Devices)
? 固定式AR系統(tǒng)(Stationary AR Systems)
? 空間增強(qiáng)現(xiàn)實(shí)(SAR)系統(tǒng)(Spatial Augmented Reality Systems)
? 頭戴式顯示器(Head-mounted Displays ,即HMD)
? 智能眼鏡(Smart Glasses)
? 智能透鏡(Smart Lenses
AR主要硬件廠商:
包括微軟(HoloLens)、谷歌(Google Glass)和Magic Leap。
AR開發(fā)平臺(tái):
AR系統(tǒng)結(jié)構(gòu):
由虛擬場景生成單元以及顯示器和頭盔等交互設(shè)備構(gòu)成。其中虛擬場景生成單元負(fù)責(zé)虛擬場景的建模、管理、繪制和其它外設(shè)的管理;顯示器負(fù)責(zé)顯示虛擬和現(xiàn)實(shí)融合后的信號(hào);頭部跟蹤設(shè)備跟蹤用戶視線變化;交互設(shè)備用于實(shí)現(xiàn)感官信號(hào)及環(huán)境控制操作信號(hào)的輸入輸出。
AR技術(shù)原理:
首先攝像頭和傳感器采集真實(shí)場景的視頻或者圖像,傳入后臺(tái)的處理單元對(duì)其進(jìn)行識(shí)別“是什么”和生成數(shù)據(jù)模型,并結(jié)合頭部跟蹤設(shè)備的數(shù)據(jù)來分析虛擬場景和真實(shí)場景的相對(duì)位置(在哪里),實(shí)現(xiàn)坐標(biāo)系的對(duì)齊并進(jìn)行虛擬場景的建模繪制融合計(jì)算;交互設(shè)備采集外部控制信號(hào),實(shí)現(xiàn)對(duì)虛實(shí)結(jié)合場景的交互操作。系統(tǒng)融合后的信息會(huì)實(shí)時(shí)地顯示在顯示器中,展現(xiàn)在人的視野中。
AR的關(guān)鍵技術(shù)
目前AR技術(shù)的技術(shù)難點(diǎn)在于:精確場景的理解、重構(gòu)和高清晰度、大視場的顯示技術(shù)。
1、對(duì)現(xiàn)實(shí)場景的理解和重構(gòu)
在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中,首先要解決“是什么”的問題,也就是要理解、知道場景中存在什么樣的對(duì)象和目標(biāo)。第二要解決“在哪里”的問題,也就是要對(duì)場景結(jié)構(gòu)進(jìn)行分析,實(shí)現(xiàn)跟蹤定位和場景重構(gòu)。
物體檢測和識(shí)別的目的是發(fā)現(xiàn)并找到場景中的目標(biāo),這是場景理解中的關(guān)鍵一環(huán)。廣義的物體檢測和識(shí)別技術(shù)是基于圖像的基本信息(各類型特征)和先驗(yàn)知識(shí)模型(物體信息表示),通過相關(guān)的算法實(shí)現(xiàn)對(duì)場景內(nèi)容分析的過程。在增強(qiáng)現(xiàn)實(shí)領(lǐng)域,常見的檢測和識(shí)別任務(wù)有,人臉檢測、行人檢測、車輛檢測、手勢(shì)識(shí)別、生物識(shí)別、情感識(shí)別、自然場景識(shí)別等。
目前,通用的物體檢測和識(shí)別技術(shù),根據(jù)不同的思路可以分為兩種:一種是從分類和檢測的角度出發(fā),通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到某一類對(duì)象的一般性特征,從而生成數(shù)據(jù)模型。這種方法檢測或者識(shí)別出的目標(biāo)不是某一個(gè)具體的個(gè)體,而是一類對(duì)象,如汽車、人臉、植物等。這種識(shí)別由于是語義上的檢測和識(shí)別,所以并不存在精確的幾何關(guān)系,也更適用于強(qiáng)調(diào)增強(qiáng)輔助信息,不強(qiáng)調(diào)位置的應(yīng)用場景中。如檢測人臉后顯示年齡、性別等。另外一種識(shí)別是從圖像匹配的角度出發(fā),數(shù)據(jù)庫中保存了圖像的特征以及對(duì)應(yīng)的標(biāo)注信息,在實(shí)際使用過程中,通過圖像匹配的方法找到最相關(guān)的圖像,從而定位環(huán)境中的目標(biāo),進(jìn)一步得到識(shí)別圖像和目標(biāo)圖像的精確位置,這種識(shí)別適用于需要對(duì)環(huán)境進(jìn)行精確跟蹤的應(yīng)用場景。
跟蹤定位技術(shù)則分為基于硬件的定位技術(shù)和基于視覺的定位技術(shù)2點(diǎn)。其中基于視覺的跟蹤定位技術(shù)最核心的技術(shù),也是主流技術(shù)
基于SLAM的三維環(huán)境定位
標(biāo)準(zhǔn)的視覺SLAM問題可以這么描述為:把你空投到一個(gè)陌生的環(huán)境中,你要解決“我在哪”的問題。這里的“我”基本上等同于相機(jī)或者眼睛(因?yàn)閱文浚磫蜗鄼C(jī),請(qǐng)把自己想象成獨(dú)眼龍),“在”就是要定位(就是localization),“哪”需要一張本來不存在的需要你來構(gòu)建的地圖(就是mapping)。你帶著一只眼睛一邊走,一邊對(duì)周邊環(huán)境進(jìn)行理解(建圖),一邊確定在所建地圖中的位置(定位),這就是SLAM了。換句話說,在走的過程中,一方面把所見到(相機(jī)拍到)的地方連起來成地圖,另一方面把走的軌跡在地圖上找到。
這類技術(shù)不需要預(yù)存場景信息,而是在運(yùn)行階段完成對(duì)于場景的構(gòu)建以及跟蹤。其優(yōu)點(diǎn)是不需要預(yù)存場景,可以跟蹤較大范圍,適用面廣,在跟蹤的同時(shí)也可以完成對(duì)于場景結(jié)構(gòu)的重建。但目前這類技術(shù)計(jì)算速度慢、數(shù)據(jù)量大、算法復(fù)雜度高,對(duì)于系統(tǒng)的要求也較高。
原理拓展見這里
AR交互方式:
手勢(shì)識(shí)別的紅外攝像頭
AR系統(tǒng)基本具備以下三個(gè)特點(diǎn):
1、真實(shí)世界和虛擬世界的信息集成;
2、具有實(shí)時(shí)交互性;
3、是在三維尺度空間中增添定位虛擬物體。
AR應(yīng)用:
1)自拍。這是一款把衛(wèi)生巾和AR技術(shù)結(jié)合的手機(jī)APP,用戶通過掃描一片蘇菲口袋魔法衛(wèi)生巾,即有萌兔子秒現(xiàn)眼前!衛(wèi)生巾冒出和真人互動(dòng)的裸眼3D兔!同時(shí)也是自拍神器。該款應(yīng)推薦iPhone4s及以上機(jī)型適用。
2)AR+電商。
A、讓顧客了解產(chǎn)品。類似于小熊的基于AR技術(shù)的應(yīng)用都符合一個(gè)基本的套路,就是通過先進(jìn)的AR技術(shù)讓平面圖片或卡牌“立體動(dòng)起來”。用戶只需要下載相應(yīng)的專用軟件,利用使用移動(dòng)設(shè)備掃描AR卡,即可出現(xiàn)角色的立體圖像。
B、買前試”吃“。在宜家《家居指南》應(yīng)用中,AR技術(shù)主要用于演示視頻,主要是3D和擴(kuò)增實(shí)境技術(shù)。視頻中主要的概念有兩個(gè),一個(gè)是用戶可以通過宜家的官方雜志作為識(shí)別卡,展示此雜志中的宜家家居產(chǎn)品,并將這些產(chǎn)品通過增強(qiáng)現(xiàn)實(shí)技術(shù)擺放到家中的各個(gè)角落。從而更方便地測試家具的尺寸、風(fēng)格、顏色擺在某個(gè)位置是否合適。
C、AR搶優(yōu)惠券。iButterfly是日本廣告公司電通推出的一款手機(jī)應(yīng)用,它利用LBS與AR技術(shù)將商家發(fā)放廣告和優(yōu)惠券的營銷活動(dòng)通過捕捉蝴蝶變成了一個(gè)充滿趣味性的小游戲。用戶可以在手機(jī)相機(jī)取景器上的現(xiàn)實(shí)場景中,通過前后晃動(dòng)手機(jī)捕捉飛舞的虛擬蝴蝶。不同地點(diǎn)蝴蝶的種類不同,搜集蝴蝶的同時(shí)也收集了各種各樣的優(yōu)惠,用戶還可以通過藍(lán)牙和其他人交換蝴蝶,趣味十足。抓蝴蝶還能拿優(yōu)惠券,真是美哉樂哉。
D、做一款A(yù)R應(yīng)用,讓大家可以看到宣傳冊(cè)模特,穿內(nèi)衣時(shí)的樣子。
E、門店。Ar增強(qiáng)現(xiàn)實(shí)技術(shù)+GPS位置定位技術(shù)的App,用戶在東京的任何一地點(diǎn)打開App,就會(huì)有水族館可愛的企鵝為用戶做導(dǎo)航,指引用戶到水族館參觀。
3)教育+出版類AR應(yīng)用。
A、對(duì)準(zhǔn)寫有化學(xué)元素名或化學(xué)式的卡片,手機(jī)或平板界面就可以顯示出立體的分子結(jié)構(gòu)。如果這款A(yù)pp還能顯示出化學(xué)反應(yīng)的過程,那就更好了。
B、口袋動(dòng)物園是一款與AR結(jié)合的早教類應(yīng)用,通過卡片或馬克圖識(shí)別出各種各樣的動(dòng)物幫助兒童學(xué)習(xí)。產(chǎn)品的出現(xiàn)讓廣大兒童們足不出戶便可以在移動(dòng)設(shè)備上看到各種各樣的動(dòng)物,而這一方式也徹底顛覆了傳統(tǒng)卡片學(xué)習(xí),給孩子們帶來了全新的體驗(yàn)。
C、閱讀。出版商Tigger Global想出了書籍結(jié)合AR應(yīng)用的點(diǎn)子。讀者可以下載應(yīng)用,用iPad對(duì)準(zhǔn)正在閱讀的書籍,屏幕上就會(huì)呈現(xiàn)出書中所描述的場景,以及對(duì)應(yīng)的章節(jié),用虛擬場景給枯燥的閱讀帶來一些調(diào)劑
D、觀星。通過定位和指南針讓你通過移動(dòng)設(shè)備便能觀看到浩瀚的星空。你只需將屏幕對(duì)準(zhǔn)天空,便可以看到你想看的星星們。
E、選取景色。Yocli是一個(gè)簡單的增強(qiáng)現(xiàn)實(shí)實(shí)景選取顏色應(yīng)用程序,旨在建立最簡單的方式來捕捉你身邊的顏色。讓用戶輕松保存為十六進(jìn)制代碼的顏色。并支持通過電子郵件或Twitter與朋友分享你捕捉的美麗顏色。
F、語言翻譯是AR應(yīng)用中最具發(fā)展前景的領(lǐng)域之一。現(xiàn)有的一款應(yīng)用Word Lens兼容于幾乎所有智能手機(jī),能夠?qū)⑽谋就椒g成另一種語言。打開應(yīng)用后,用戶只要將設(shè)備對(duì)準(zhǔn)外國文字即可。設(shè)備就會(huì)將此信息翻譯成用戶母語并顯示出來。而且翻譯后的文本是同樣的字體,印在同一面墻上——就跟原始文本一樣。
系統(tǒng)在汽車運(yùn)轉(zhuǎn)失常時(shí)派上用場,幫助用戶進(jìn)行汽車維修及維護(hù)。它能通過物體識(shí)別技術(shù)識(shí)別出汽車零部件,實(shí)時(shí)詳細(xì)地將所有必需的維修、維護(hù)步驟描述并圖示出來,并配有需要用到哪些設(shè)備的信息。這款應(yīng)用可以在多種移動(dòng)設(shè)備上運(yùn)行。目前,該系統(tǒng)為大眾服務(wù)獨(dú)家使用,不過可以想象,未來消費(fèi)者都會(huì)用上類似的系統(tǒng),不太了解汽車機(jī)械的人都能修好自己的汽車
視覺揀貨。該系統(tǒng)包括頭戴式顯示器(HMD)之類的移動(dòng)AR裝置,相機(jī),可穿戴PC,以及續(xù)航至少為一班次時(shí)長的電池模塊。其視覺揀貨軟件功能包括實(shí)時(shí)物體識(shí)別,條形碼讀取,室內(nèi)導(dǎo)航,以及與倉庫管理系統(tǒng)(Warehouse Management System,簡稱WMS)的無縫信息整合。借助于這樣的一套系統(tǒng),每位倉庫工都能在視野中看到數(shù)字揀貨清單,還能受益于室內(nèi)導(dǎo)航功能,看到最佳路徑,通過有效路徑規(guī)劃減少移動(dòng)耗時(shí)。該系統(tǒng)的圖像識(shí)別軟件能自動(dòng)讀取條形碼以確認(rèn)倉庫工是否到達(dá)正確位置,并指引他在貨架上快速定位待揀物品。接著,倉庫工可以掃描該物品,將此流程同步登記到倉庫管理系統(tǒng)中,實(shí)現(xiàn)實(shí)時(shí)的庫存更新。AR設(shè)備能夠登記一批貨物是否完整、可供分揀。通過標(biāo)識(shí)或先進(jìn)的物體識(shí)別技術(shù),捕捉貨盤和包裹的數(shù)量、體積。 識(shí)別到無損包裹數(shù)量正確后,AR自動(dòng)確認(rèn)、交付分揀。
包裹配載。未來在配送中心,每個(gè)司機(jī)通過AR設(shè)備看一下包裹,就會(huì)接收到該包裹的關(guān)鍵信息。該信息可包括運(yùn)輸商品的種類,每個(gè)包裹的重量、配送地址,是否易碎,是否需要正確擺放以避免損壞。接著,AR設(shè)備會(huì)實(shí)時(shí)計(jì)算每個(gè)包裹的空間需求,掃描車輛貨箱尋找合適的空位,然后提示司機(jī)應(yīng)該將包裹擺放在哪個(gè)位置,并記入規(guī)劃路線中。
最后一公里。司機(jī)將AR設(shè)備指向某個(gè)建筑或建筑群,它會(huì)顯示出谷歌街景之類的信息,或源自其它數(shù)據(jù)庫的相關(guān)詳情。如果在公共數(shù)據(jù)庫中找不到可用信息,還可以使用AR設(shè)備根據(jù)入口位置或其它當(dāng)?shù)靥卣鱽矸胖脴?biāo)記,從而逐漸建立起一個(gè)獨(dú)立的數(shù)據(jù)庫。下一次再配送到這個(gè)地址時(shí),AR設(shè)備會(huì)訪問之前收集的數(shù)據(jù);同時(shí)渲染相應(yīng)的虛擬信息圖層。
簽收包裹。在面部識(shí)別技術(shù)的幫助下,簽收包裹的人無需出示任何身份證件即可被精確識(shí)別。AR設(shè)備會(huì)拍照并自動(dòng)與社保數(shù)據(jù)庫進(jìn)行比對(duì)。考慮到數(shù)據(jù)隱私問題,需要在得到簽收人許可的前提下才能使用這種AR面部確認(rèn)技術(shù)。
AR導(dǎo)航
AR面臨的挑戰(zhàn):
1、相機(jī)質(zhì)量與成像處理。智能手機(jī)通常配備的相機(jī)傳感器在弱光條件下表現(xiàn)糟糕:圖像模糊,開始出現(xiàn)明顯色差。相機(jī)傳感器硬件通常禁止低層級(jí)訪問。API只提供了相機(jī)傳感器的高層級(jí)訪問,無法控制曝光、光圈及焦距。小型CCD傳感器導(dǎo)致相機(jī)采樣噪點(diǎn)增加,進(jìn)而嚴(yán)重影響后續(xù)CV算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補(bǔ)償。
2、電量消耗。電池電量近年來并沒有顯著提升。相機(jī)傳感器在以高幀率持續(xù)運(yùn)行時(shí)耗電量很大,其主要原因是目前手機(jī)的設(shè)計(jì)用途仍然是拍照,而不是攝影。另外,傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運(yùn)行功能強(qiáng)大的AR應(yīng)用會(huì)讓電池迅速耗干。因此,AR應(yīng)用必須只能設(shè)計(jì)成供短時(shí)間使用,而不是一種“常開”功能。
3、網(wǎng)絡(luò)依賴性。遠(yuǎn)程訪問大量數(shù)據(jù)受到幾個(gè)因素的影響。首先,網(wǎng)絡(luò)延遲會(huì)導(dǎo)致令人不爽的延遲,拖累AR應(yīng)用的瞬時(shí)表現(xiàn)。其次,訪問遠(yuǎn)程數(shù)據(jù)僅在開了流量套餐時(shí)才有可能做到,而流量套餐可能過于昂貴或者無法開通。最后,某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨(dú)立的AR應(yīng)用成為了唯一的可行選擇,這就意味著需要在設(shè)備上占用大量的存儲(chǔ)空間。
4、可視化與交互的可能性。智能手機(jī)的外形因素在購買決策中發(fā)揮著重要作用。實(shí)際上,可接受最大設(shè)備的尺寸嚴(yán)格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點(diǎn)觸控界面或許是最為先進(jìn)的交互機(jī)制,但它在某些特定任務(wù)——如像素級(jí)的選取上表現(xiàn)糟糕。
5、動(dòng)態(tài)場景與AR真實(shí)感的矛盾。目前的AR應(yīng)用假設(shè)場景中的一切事物都是靜態(tài)的。然而,現(xiàn)實(shí)恰好與之相反。尤其在室外場景中,幾乎所有物體都在變化:行人,光照和天氣條件,甚至是建筑物每隔幾年也會(huì)刷上新的顏色。定位會(huì)因此受到嚴(yán)重影響。在動(dòng)態(tài)場景中,大多數(shù)算法的基本假設(shè)從一開始就是錯(cuò)誤的。比如說你正在對(duì)一個(gè)建筑立面進(jìn)行增強(qiáng),行人路過擋住了部分視野。由于算法缺少阻擋推理,就算增強(qiáng)內(nèi)容的視覺效果再好,未來硬件平臺(tái)的性能再強(qiáng)大,也會(huì)出現(xiàn)礙眼的錯(cuò)誤。動(dòng)態(tài)物體與虛擬內(nèi)容之間交互的缺失絕對(duì)會(huì)損害AR應(yīng)用的真實(shí)感。
文字大部分出處來自:這里
待續(xù)