本文來自愛范兒旗下創業社區 MindStore 的“MindTalk 線場”欄目。如果希望參與到 MindStore 欄目報道,或者有相關項目推薦,請將產品提交到http://MindStore.io。
最近,VR 成為最熱門的科學技術,各行各業爭相開發 VR 產品,期望掌握科技變革的先機。
在這股 VR 潮流剛興起時,Depth-VR 公司早已先發制人,在 2013 年就開始研發 VR 的位置跟蹤系統。
然而在最開始,Depth-VR 只想做類似亞馬遜? Fire Phone 的一套系統,主要的原理是通過紅外線跟蹤用戶的眼睛,再生成視覺的圖像,但產品并沒有成功。
2014 年 VR 開始爆發,Depth-VR? 毅然轉變方向專注研發 VR,卻在中間不小心走一段彎路,跑去做頭盔,跟魅族聯合推出輕便版手機 VR 頭顯“畫風”。
Depth-VR 的 CEO 李今在 MindTalk? 分享時坦言,創業公司的身份,讓他們一直頻繁地轉變方向。但是對光學的位置跟蹤技術,即現在大熱的 VR 交互技術,是他們從 2013 年就開始堅持研發的方向。
做 VR 的緣由,最初來自于玩游戲時的異想天開
Depth-VR 如今能站在交互領域的領先地位,最初卻只是來源于一個異想天開的想法。
大學時候就喜歡玩 CS 的李今,迷戀上制作 3D 游戲。但是最開始用 3D-MAX 做 3D 游戲時,跟大部分初學者一樣,他遇到建模困難的問題。
“ 3D-MAX 的界面比較復雜,一般人上手太困難,學習周期需要三四個月的時間。學軟件之難,甚至會讓使用者把大部分精力投放在三維建模上,而不是創作上,這是非常不合理的。”
于是李金開始思考,怎么改變建模交互的方法。
一心要把 3D 簡化實現,無奈想法錯誤終落空
2011 年,Depth-VR 開始深入研究 3D 建模軟件,發現三維建模的工作流程之所以復雜,是因為操作的本質是用二維平面輸入建立三維的信息。
于是 Depth-VR 打算做一個便宜廉價的輸入系統,它能夠代替鼠標捕捉手的空間位置。他們甚至會幻想像《鋼鐵俠》里面做模型的繪制,所有建模操作能在空中操作,當時 Depth-VR 的構想跟 AR 相關。
“我們當時就想做一個三維的輸入系統,讓計算機能夠知道你想表達的是一個什么意圖,非常直接的表達你三維的操作,而不需要通過鼠標去表達。 ”
不幸的是,李今不久后發現他們的想法是錯誤的,三維建模系統的重點根本不在輸入,而是視覺輸出的可視化這部分,最后項目只能暫時擱置。
轉變方向,把過去的思路和技術積累用在 VR 上
直至 2014 年 Oculus 的出現,Depth-VR 才受到了啟發,嘗試把從前的思路和技術積累用在 VR 上。
他們要做的 VR 位置跟蹤技術,跟從前的技術要求不一樣。
“Oculus Rift 第一代 DK 出來的時候還沒有頭部位置跟蹤,也沒有提出位置跟蹤的概念,只有一個計算機系統的輸出端,但是完整的計算機系統是需要輸入和輸出兩個的,輸入當時沒人做。所以我們決定做輸入的環節,這樣才能讓 VR 變成一個完整的計算機系統。”
但是 VR 交互技術,在 2014 年的時候仍然是個又貴又冷門的玩意兒。
當時消費級的三維輸入只有 Leap Motion,其捕捉范圍太小,只能跟蹤手的運動。
其實 VR 里最重要的位置是頭部,假設在 VR 場景里,你要拿較遠的一瓶水,當你移動身體的時候,瓶子要離你越來越近,而不是跟著你的頭一起動。所以位置跟蹤尤為重要,它是 VR 系統實現的重要條件。
所以在 2014 年的時候,Depth VR 就開始正式做 VR 的位置跟蹤系統。
要做優秀的 VR 位置跟蹤系統,需要滿足幾個條件
第一要范圍夠大,才在? VR 場景里到處跑,然而這對位置跟蹤技術有著很高的要求,捕捉范圍要足夠大,至少要有 4×4 米的空間范圍才能實現場景運動和正常移動。
第二,精度的要求要高。除了空間位置要有較高的準確性,最重要的是減少位置跟蹤系統的抖動幅度,所謂抖動,正是源自系統里的噪音,例如圖像的噪音。而光學追蹤能避免系統噪音帶來的影響。
“我為什么要說精度和范圍的問題呢?因為這兩個東西加起來就構成了位置跟蹤系統的體驗。體驗這個東西是很微妙的,它是由人來定位的。人又沒有一個標準,人的標準永遠是既苛刻,又很模糊,說不清的一個東西。”
除了精度和范圍,實現 VR 交互系統,還需要關注最后一點——延遲。延遲是指用戶真正的運動和他看到畫面運動時的時差,這又決定了 VR 的體驗。
當初除了以上的硬性指標, VR 位置跟蹤系統的產品還要足夠便宜。在李今看來,鼠標跟 VR 位置跟蹤系統類似,是同一個級別的輸入設備,差別在于,鼠標相比于三維的位置跟蹤系統而言,它輸入的是二維的一個坐標。
“我們可以通過鼠標的定價,來窺探大眾對運算平臺的成本期待。所以我們得出結論,如果整個位置跟蹤系統做到了鼠標這么便宜,才有資格成為一個消費級的產品。”
為尋實現方案,把人類史上的位置跟蹤方案看個遍
2014 年,在明確了這個位置跟蹤系統對性能還有成本的要求之后,Depth-VR 開始尋找 VR 位置跟蹤系統最適用的方案,他們按照聲光電磁慣性的順序,把整個人類歷史上用過這些位置跟蹤方案都看了一遍。
第一個研究的是超聲波定位技術,因存在延遲和回聲反射的問題,以及追蹤目標數量太少、部署起來太麻煩等一系列缺憾,并不適合用作 VR 設備。
而電磁定位技術則需要理想的磁場環境,磁場容易被干擾,容易衰減或被去掉,因此用這種技術得到的坐標是一個不正確的坐標,所以也不作考慮。
最后一類是慣性動捕,這類叫 VMI 的產品,通過一套關節附近裝了 IMU 傳感器的衣服,測量人的每一根主要骨頭的姿態,然后用鋼體模擬出一個木偶,去分析這個人的整個身體和每個關節的動作,假想這個人在地面走,和地面之間是完全沒有滑動摩擦的。
“我們看完聲光電這三種方案之后,覺得不是特別靠譜,沒有一個最優方法。最后沒有辦法,我們又回到了光學位置跟蹤方法上。在現在和未來,這個行業的所有位置跟蹤技術,基本上都會歸納到光學位置跟蹤里。”
Depth-VR 開始考慮做一個叫 SLAM 的方案,利用了一套存在很久的算法和理論,通過攝像頭的運動去分析環境,再進行算法反推自己的位置。Depth-VR 打算利用 iPhone 的處理器。
“有一個開源的算法我們直接移植到了 iPhone 上,在 iPhone 的攝像頭上罩了一個廣角的魚眼鏡頭,攝像機通過魚眼鏡頭拍到的圖像視角比較廣,就能看到將近 180 度的圖像,讓它的算法在 iPhone CPU 上跑。”
然而 iPhone 的 CPU 不給力,出現了跑完 SLAM 定位的 Demo 后無法正常游戲的情況。手機的運算能力有限,必須用專門的芯片,但開發成本過高,Depth-VR 無法承受。
Depth-VR 也有考慮過其它 VR 的巨頭公司在使用的方案,比如 Optitrack ,一個由美國的光學動捕領域的龍頭企業研發生產的產品。但 Depth-VR 在研究時發現,這些攝像機非常昂貴,VR 位置跟蹤環境一套下來要幾十萬人民幣。出于對成本的考慮,Depth-VR 拋棄了很多方案,其中包括深度相機。
“大家都知道鼠標才幾十塊錢,你要是專門只完成一個定位的任務的話,這個設備的成本也不應超過兩百塊錢吧,成本是非常敏感的。尤其是現在 VR 或
AR 的內容還沒有起來的時候,設備必須走低價的路線,不然的話,你賣一個高價格缺少內容的一個設備,幾乎不會有人買這種東西。”
參考各大廠家的定位方案,仍難尋最優方案
為了找到最優的實現方案,Depth-VR 不是沒有嘗試過向其它 VR 巨頭學習的。
索尼 PlayStation 的 3 代和 4 代的方案,是基于計算機視覺和光學動捕。Depth-VR 研究了他們的方案后,發現其運算量太大,要依賴主機。
“這個方案我們當時也拋棄了。因為我們對空間位置跟蹤設備的定義,是一個單獨的傳感器,不應依賴任何的外部運算資源,我們想做的是一個脫離外部運算資源的獨立傳感器。”
和索尼一樣,Oculus 頭盔的定位系統也依賴 PC 去做位置跟蹤,于是Depth-VR 研究一番后又放棄了。
后來,他們看到唯一不依賴 PC 運算能力方案的 HTC
VIVE,精確度能達到零點幾度。但因為它采用激光還有其他的一些配件,外部整體的成本也比較高。它的成本不能滿足 Depth-VR
的要求,同時還存在激光會互相干擾,導致同一個空間不能擴展多個外部定位系統的問題。到最后,他們連 HTC VIVE 的方案都拋棄掉。
自成一套光學位置跟蹤系統
Depth-VR 花了一年的時間研究所有的方案,卻絕望地發現沒有一個原理是他們能夠直接使用的,不得不發展一套自己的光學位置跟蹤系統。
“新研發出來的系統比其它方案都要好,比如說它的跟蹤范圍及距離,還有延遲、精度,最重要是它的成本,都領先行業。我們還重新設計了攝像機的光學系統,這與其它定位方案不一樣。”
Depth-VR 在光學結構上做了一些創新。以前的攝像機,是一個鏡頭對一個傳感器,光線從鏡頭里進來打到傳感器上成像,再拿到電腦里做圖像分析。
“我們在鏡頭的后面加了一種很特殊的材料,它能夠把這個可見光反射到側面立起來,垂直站起來的這個圖像傳感器上,也就是側面的這個圖像傳感器可以接收到可見光,把
850nm—905nm 的紅外光直接透視到 45 度的反光鏡,直接打到地下紅外的傳感器上。這樣我們就能通過一個鏡頭獲得兩個不同波段的圖像。”
這個被命名為同軸多光譜相機的創新,顛覆了以前的攝像效果。
為了讓系統不依賴外部的運算設備,Depth-VR 做了很多工作。他們的設備是一個完全獨立于外部計算資源的一個傳感器,所有的運算在攝像機內部進行。
令人稱奇的是,Depth-VR 用來做圖片處理運算的 CPU 是一個非常低端的 ARM 芯片,整個 VR 定位跟蹤系統成本能夠控制在 100 元以內。
與此同時,Depth-VR 的 VR 定位跟蹤系統還非常優秀,其他的參數比如精度能控制再 1mm 以內,做到差不多 0.1mm 的定位誤差,嚴格控制抖動程度。延遲也非常低,小于 5ms。
從 2014 年中旬開始,Depth-VR 按著光學思路研發產品,直至 2016 年成型。目前這個定義為傳感器的產品,能做到無限擴展,還能避免遮擋問題,能在大場景里面去大范圍部署并擴展它在位置跟蹤的范圍。
注:文中數據不做投資參考;感謝愛扒詞轉錄整理。
MindStore 是愛范兒旗下最新潮有趣的產品與想法分享平臺,在這里每天發現你感興趣的產品。歡迎關注微信公眾號:mindstoredyh ,微博:MindStore,獲得更多大咖線上分享和創業者訪談。