筆者在上篇文章中對(duì)ARKit進(jìn)行了簡(jiǎn)單介紹,在本篇文章中主要介紹ARKit中經(jīng)常用到的API及使用方法。了解這些API的含義以方便我們后邊的深入學(xué)習(xí)。
1.1-ARAnchor
用于在AR場(chǎng)景中放置物體的一個(gè)現(xiàn)實(shí)世界的位置和方向,通常我們無(wú)需構(gòu)造,因?yàn)樘砑右粋€(gè)3D物體時(shí)ARKit會(huì)有代理告知我們物體的ARAnchor實(shí)例。
ARAnchor擁有屬性:transform,類型為matrix_float4x4(是一個(gè)4x4的矩陣),
構(gòu)造方法:-(instancetype)initWithTransform:(matrix_float4x4)transform;
1.2-ARPlaneAnchor
繼承自ARAnchor,是在ARSession中監(jiān)測(cè)到的現(xiàn)實(shí)平面的位置和方向。
1.3-ARSession
一個(gè)管理增強(qiáng)現(xiàn)實(shí)所需的設(shè)備攝像頭和動(dòng)作處理的共享的對(duì)象。
ARSession對(duì)象會(huì)協(xié)調(diào)增強(qiáng)現(xiàn)實(shí)過(guò)程中的大部分處理,這些處理包括:從設(shè)備的動(dòng)作感應(yīng)硬件讀取數(shù)據(jù)、控制設(shè)備內(nèi)置攝像頭和對(duì)捕捉到的攝像圖像進(jìn)行分析。ARSession會(huì)整合這些結(jié)果并在設(shè)備反饋的現(xiàn)實(shí)空間和模型化AR內(nèi)容的虛擬空間之間建立一種對(duì)應(yīng)關(guān)系。
任何一個(gè)用ARKit實(shí)現(xiàn)的AR場(chǎng)景都需要一個(gè)單獨(dú)的ARSession對(duì)象。如果使用了ARSCNView或者ARSKView對(duì)象來(lái)創(chuàng)建了AR場(chǎng)景的話,一個(gè)ARSession實(shí)例已經(jīng)包含在這個(gè)View之中了。如果通過(guò)別的渲染器來(lái)建立AR內(nèi)容,就需要手動(dòng)創(chuàng)建并維持一個(gè)ARSession對(duì)象。
運(yùn)行一個(gè)session需要一個(gè)session configuration,這是一個(gè)ARSessionConfiguration或其子類ARWorldTrackingSessionConfiguration的實(shí)例。這些類決定了ARKit如何追蹤一個(gè)設(shè)備的位置以及相對(duì)于現(xiàn)實(shí)世界的運(yùn)動(dòng),因此影響了所創(chuàng)建的AR體驗(yàn)。
```
1.對(duì)象提供接收視頻圖像捕獲和跟蹤信息,或?qū)?huì)話狀態(tài)的變化,代理是捕獲視頻流的(方法可以實(shí)現(xiàn)接收視頻幀圖像捕獲和跟蹤狀態(tài)的AR會(huì)話。) var
self.arsession.delegate = self;
2.暫停 func
[self.arsession pause];
3.支持多線程的 var
self.arsession.delegateQueue ;
4.翻譯為當(dāng)前幀
ARFrameframe =? self.arsession.currentFrame;
5.運(yùn)行追蹤者 func
[self.arsession runWithConfiguration:self.arsessionconfiguration];
6.增加刪除錨點(diǎn),func
ARAnchorar = [[ARAnchor alloc]initWithTransform:matrix_sub];
[self.arsession addAnchor:ar ];
[self.arsession removeAnchor:ar];
```
1.4-ARFrame
表示追蹤相機(jī)當(dāng)前的狀態(tài),這個(gè)狀態(tài)不僅僅只是位置,還有圖像幀及時(shí)間等參數(shù),一個(gè)運(yùn)行的ARSession會(huì)不斷的通過(guò)設(shè)備相機(jī)捕捉視頻幀。對(duì)于每一個(gè)frame,ARKit會(huì)結(jié)合圖像和從設(shè)備運(yùn)動(dòng)感應(yīng)硬件獲得的數(shù)據(jù)來(lái)分析設(shè)備的真實(shí)位置。這些追蹤信息和視圖參數(shù)就是以ARFrame對(duì)象來(lái)保存和傳遞的。
```
@interfaceARFrame:NSObject/**
時(shí)間戳.
*/@property(nonatomic,readonly)NSTimeIntervaltimestamp;/**
緩沖區(qū)圖像幀
*/@property(nonatomic,readonly) CVPixelBufferRef capturedImage;/**
相機(jī)(表示這個(gè)ARFrame是哪一個(gè)相機(jī)的,iPhone7plus有兩個(gè)攝像機(jī))
*/@property(nonatomic,copy,readonly) ARCamera *camera;/**
返回當(dāng)前相機(jī)捕捉到的錨點(diǎn)數(shù)據(jù)(當(dāng)一個(gè)3D虛擬模型加入到ARKit中時(shí),錨點(diǎn)值得就是這個(gè)模型在AR中的位置)
*/@property(nonatomic,copy,readonly)NSArray *anchors;/**
燈光,詳情可見本章節(jié)ARLightEstimate類介紹(指的是燈光強(qiáng)度 一般是0-2000,系統(tǒng)默認(rèn)1000)
*/@property(nonatomic,copy,nullable,readonly) ARLightEstimate *lightEstimate;/**
特征點(diǎn)(應(yīng)該是捕捉平地或者人臉的,比較蘋果有自帶的人臉識(shí)別功能)
*/@property(nonatomic,nullable,readonly) ARPointCloud *rawFeaturePoints;/**
根據(jù)2D坐標(biāo)點(diǎn)搜索3D模型,這個(gè)方法通常用于,當(dāng)我們?cè)谑謾C(jī)屏幕點(diǎn)擊某一個(gè)點(diǎn)的時(shí)候,可以捕捉到這一個(gè)點(diǎn)所在的3D模型的位置,至于為什么是一個(gè)數(shù)組非常好理解。手機(jī)屏幕一個(gè)是長(zhǎng)方形,這是一個(gè)二維空間。而相機(jī)捕捉到的是一個(gè)由這個(gè)二維空間射出去的長(zhǎng)方體,我們點(diǎn)擊屏幕一個(gè)點(diǎn)可以理解為在這個(gè)長(zhǎng)方體的邊緣射出一條線,這一條線上可能會(huì)有多個(gè)3D物體模型
point:2D坐標(biāo)點(diǎn)(手機(jī)屏幕某一點(diǎn))
ARHitTestResultType:捕捉類型? 點(diǎn)還是面
(NSArray *):追蹤結(jié)果數(shù)組? 詳情見本章節(jié)ARHitTestResult類介紹
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;/**
相機(jī)窗口的的坐標(biāo)變換(可用于相機(jī)橫豎屏的旋轉(zhuǎn)適配)
*/- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;
@end
```
1.5-ARCamera
表示AR session中一個(gè)被捕獲的視圖幀相關(guān)的相機(jī)位置和視圖特征的信息。
一般我們無(wú)需去創(chuàng)建一個(gè)相機(jī),因?yàn)楫?dāng)我們初始化一個(gè)AR試圖時(shí),他會(huì)為我們默認(rèn)創(chuàng)建一個(gè)相機(jī),而且這個(gè)相機(jī)就是攝像頭的位置,同時(shí)也是3D世界中的原點(diǎn)所在(x=0,y=0,z=0)
1.6-ARSessionConfiguration
一個(gè)僅用來(lái)追蹤設(shè)備方向的基礎(chǔ)設(shè)置,主要就是追蹤相機(jī)的配置。
所有的AR configuration都是用來(lái)建立現(xiàn)實(shí)世界和虛擬3D坐標(biāo)空間的對(duì)應(yīng)關(guān)系的。當(dāng)app將這些虛擬內(nèi)容和實(shí)時(shí)的攝像畫面一起展示給用戶,用戶會(huì)產(chǎn)生一種這些虛擬內(nèi)容是現(xiàn)實(shí)世界的一部分的錯(cuò)覺(jué)。
創(chuàng)建和維持各空間之間的對(duì)應(yīng)關(guān)系需要追蹤設(shè)備的移動(dòng)。ARSessionConfiguration類用三自由度(3DOF,也就是三個(gè)旋轉(zhuǎn)坐標(biāo):roll(繞x軸)、pitch(繞y軸)和yaw(繞z軸))。
這種最基礎(chǔ)級(jí)別的運(yùn)動(dòng)追蹤可以創(chuàng)建最基本的AR體驗(yàn):一個(gè)虛擬物體可以出現(xiàn)在部分現(xiàn)實(shí)世界中,即使用戶旋轉(zhuǎn)設(shè)備從上、下或者側(cè)面來(lái)觀察這個(gè)物體。但是,無(wú)法追蹤非平凡(non-trivially)的位置的變化,從而導(dǎo)致AR幻覺(jué)破碎,虛擬物體會(huì)相對(duì)于現(xiàn)實(shí)世界漂移。如用戶無(wú)法看到虛擬物體的背面和其它部分。
ARSessionConfiguration類創(chuàng)建了有限的但是可用于所有iOS設(shè)備的AR體驗(yàn),而增強(qiáng)的AR體驗(yàn)只在某些設(shè)備上可用。
```
//會(huì)話追蹤配置類@interfaceARSessionConfiguration: NSObject /**
當(dāng)前設(shè)備是否支持,一般A9芯片以下設(shè)備不支持
*/@property(class, nonatomic, readonly) BOOL isSupported;/**
會(huì)話的對(duì)其方式,這里的對(duì)其指的是3D世界的坐標(biāo)。枚舉值見下方
*/@property(nonatomic, readwrite) ARWorldAlignment worldAlignment;/**
是否需要自適應(yīng)燈光效果,默認(rèn)是YES
*/@property(nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;@end//世界會(huì)話追蹤配置,蘋果建議我們使用這個(gè)類,這個(gè)子類只有一個(gè)屬性,也就是可以幫助我們追蹤相機(jī)捕捉到的平地@interfaceARWorldTrackingSessionConfiguration: ARSessionConfiguration/**
偵查類型。枚舉值見下方(默認(rèn)偵查平地)
*/@property(nonatomic, readwrite) ARPlaneDetection planeDetection;
@end
```
1.7-ARWorldTrackingSessionConfiguration
一個(gè)用于追蹤設(shè)備方向和位置,并且監(jiān)測(cè)現(xiàn)實(shí)世界平面的設(shè)置,它是ARSessionConfiguration的子類,并處于同一個(gè)API文件中。
相比于ARSessionConfiguration,ARWorldTrackingSessionConfiguration可以從六自由度來(lái)追蹤設(shè)備的運(yùn)動(dòng),除了上述三自由度,還包括三個(gè)平移坐標(biāo)(表示在x、y、z軸上的移動(dòng))。
這種級(jí)別的追蹤可以創(chuàng)建一個(gè)沉浸式的AR體驗(yàn),即無(wú)論用戶旋轉(zhuǎn)或者移動(dòng)設(shè)備來(lái)觀察,虛擬物體都會(huì)位于相對(duì)于現(xiàn)實(shí)世界的同一個(gè)位置。
如果設(shè)置了planeDetection,ARKit會(huì)分析場(chǎng)景來(lái)找到現(xiàn)實(shí)世界中的平面。對(duì)每一個(gè)被監(jiān)測(cè)到的平面,ARKit會(huì)自動(dòng)添加一個(gè)ARPlaneAnchor對(duì)象到該session。
1.8-ARLightEstimate
與被捕捉的視圖幀相關(guān)的分析場(chǎng)景的燈光數(shù)據(jù)。
如果在AR scene上覆蓋其它圖形,可以使用在明暗處理算法中使用這些信息來(lái)使得這些圖形可以匹配現(xiàn)實(shí)世界的光照情況。(ARSCNView類會(huì)自動(dòng)使用這些數(shù)據(jù)來(lái)配置光照)
```
@interfaceARLightEstimate: NSObject /**
燈光強(qiáng)度? 范圍0-2000 默認(rèn)1000
*/@property(nonatomic, readonly) CGFloat ambientIntensity;@end
```
1.9-ARSceneView
一個(gè)用來(lái)展示增強(qiáng)相機(jī)視圖和3D SceneKit內(nèi)容的AR體驗(yàn)的頁(yè)面。
ARSceneView類提供了最簡(jiǎn)單的方法來(lái)創(chuàng)建增強(qiáng)了現(xiàn)實(shí)的體驗(yàn),即將虛擬的3D內(nèi)容和設(shè)備相機(jī)反映的現(xiàn)實(shí)世界結(jié)合起來(lái)。當(dāng)運(yùn)行一個(gè)由ARSession對(duì)象提供的頁(yè)面時(shí):
頁(yè)面會(huì)自動(dòng)的渲染有由設(shè)備相機(jī)提供的實(shí)時(shí)影像作為場(chǎng)景的背景。
頁(yè)面的場(chǎng)景(scene,由SceneKit提供)的世界坐標(biāo)系統(tǒng)會(huì)直接映射成由session configuration簡(jiǎn)歷的AR世界的坐標(biāo)系統(tǒng)。
頁(yè)面會(huì)自動(dòng)的移動(dòng)它的SceneKit相機(jī)來(lái)匹配現(xiàn)實(shí)世界中設(shè)備的移動(dòng)。
因?yàn)锳RKit會(huì)自動(dòng)將SceneKit空間匹配到現(xiàn)實(shí)世界,所以,放置一個(gè)虛擬物體讓它能夠保持現(xiàn)實(shí)世界的位置只需要正確地設(shè)置SceneKit的位置即可。
使用ARAnchor類來(lái)追蹤添加在場(chǎng)景中的物體并不是必須的,但是,如果實(shí)現(xiàn)了ARSCNViewDelegate方法,就可以添加SceneKit內(nèi)容到任一由ARKit監(jiān)測(cè)到錨點(diǎn)上。
```
@interfaceARSCNView:SCNView/**
代理
*/@property(nonatomic,weak,nullable)id delegate;/**
AR會(huì)話
*/@property(nonatomic,strong) ARSession *session;/**
場(chǎng)景
*/@property(nonatomic,strong)SCNScene*scene;/**
是否自動(dòng)適應(yīng)燈光
*/@property(nonatomic)BOOLautomaticallyUpdatesLighting;/**
返回對(duì)應(yīng)節(jié)點(diǎn)的錨點(diǎn),節(jié)點(diǎn)是一個(gè)3D虛擬物體,它的坐標(biāo)是虛擬場(chǎng)景中的坐標(biāo),而錨點(diǎn)ARAnchor是ARKit中現(xiàn)實(shí)世界的坐標(biāo)。
*/- (nullableARAnchor *)anchorForNode:(SCNNode*)node;/**
返回對(duì)應(yīng)錨點(diǎn)的物體
*/- (nullableSCNNode*)nodeForAnchor:(ARAnchor *)anchor;/**
根據(jù)2D坐標(biāo)點(diǎn)搜索3D模型,這個(gè)方法通常用于,當(dāng)我們?cè)谑謾C(jī)屏幕點(diǎn)擊某一個(gè)點(diǎn)的時(shí)候,可以捕捉到這一個(gè)點(diǎn)所在的3D模型的位置,至于為什么是一個(gè)數(shù)組非常好理解。手機(jī)屏幕一個(gè)是長(zhǎng)方形,這是一個(gè)二維空間。而相機(jī)捕捉到的是一個(gè)由這個(gè)二維空間射出去的長(zhǎng)方體,我們點(diǎn)擊屏幕一個(gè)點(diǎn)可以理解為在這個(gè)長(zhǎng)方體的邊緣射出一條線,這一條線上可能會(huì)有多個(gè)3D物體模型
point:2D坐標(biāo)點(diǎn)(手機(jī)屏幕某一點(diǎn))
ARHitTestResultType:捕捉類型? 點(diǎn)還是面
(NSArray *):追蹤結(jié)果數(shù)組? 詳情見本章節(jié)ARHitTestResult類介紹
數(shù)組的結(jié)果排序是由近到遠(yuǎn)
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;@end//代理#pragma mark - ARSCNViewDelegate//代理的內(nèi)部實(shí)現(xiàn)了SCNSceneRendererDelegate:scenekit代理 和ARSessionObserver:ARSession監(jiān)聽(KVO機(jī)制)@protocolARSCNViewDelegate@optional/**
自定義節(jié)點(diǎn)的錨點(diǎn)
*/- (nullableSCNNode*)renderer:(id)renderer nodeForAnchor:(ARAnchor *)anchor;/**
當(dāng)添加節(jié)點(diǎn)是會(huì)調(diào)用,我們可以通過(guò)這個(gè)代理方法得知我們添加一個(gè)虛擬物體到AR場(chǎng)景下的錨點(diǎn)(AR現(xiàn)實(shí)世界中的坐標(biāo))
*/- (void)renderer:(id)renderer didAddNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
將要刷新節(jié)點(diǎn)
*/- (void)renderer:(id)renderer willUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
已經(jīng)刷新節(jié)點(diǎn)
*/- (void)renderer:(id)renderer didUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
移除節(jié)點(diǎn)
*/- (void)renderer:(id)renderer didRemoveNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;
@end
```
1.10-SRSKView
展示2D內(nèi)容,與ARSceneView類似,這里不做重復(fù)介紹。
1.11-ARHitTestResult
通過(guò)分析一個(gè)點(diǎn)在一個(gè)AR session中的設(shè)備相機(jī)視圖而獲得的現(xiàn)實(shí)平面的信息。
如果使用SceneKit或者SpiriteKit來(lái)展示一個(gè)AR體驗(yàn),可以使用以下方法來(lái)搜索位于視圖某一點(diǎn)的現(xiàn)實(shí)世界內(nèi)容的相機(jī)圖像:
ARSCNView hitTest:types:
ARSKView hitTest:types:
另外,使用ARFrame hitTest:types:方法可以搜索現(xiàn)實(shí)世界內(nèi)容的相機(jī)圖像。由于frame是獨(dú)立于view的,對(duì)于這個(gè)方法來(lái)說(shuō),你所傳遞的點(diǎn)是標(biāo)準(zhǔn)化過(guò)的圖像坐標(biāo),即坐標(biāo)范圍為(0,1)。
這些方法會(huì)返回一個(gè)ARHitTestResult對(duì)象的數(shù)組來(lái)描述找到的內(nèi)容。
```
//捕捉類型枚舉typedefNS_OPTIONS(NSUInteger, ARHitTestResultType) {/** 點(diǎn). */ARHitTestResultTypeFeaturePoint? ? ? ? ? ? ? = (1<<0),/** 水平面 y為0. */ARHitTestResultTypeEstimatedHorizontalPlane? = (1<<1),/** 已結(jié)存在的平面. */ARHitTestResultTypeExistingPlane? ? ? ? ? ? = (1<<3),/** 已結(jié)存在的錨點(diǎn)和平面. */ARHitTestResultTypeExistingPlaneUsingExtent? = (1<<4),}NS_SWIFT_NAME(ARHitTestResult.ResultType);/**
捕捉類型
*/@property(nonatomic,readonly) ARHitTestResultType type;/**
3D虛擬物體與相機(jī)的距離(單位:米)
*/@property(nonatomic,readonly)CGFloatdistance;/**
本地坐標(biāo)矩陣(世界坐標(biāo)指的是相機(jī)為場(chǎng)景原點(diǎn)的坐標(biāo),而每一個(gè)3D物體自身有一個(gè)場(chǎng)景,本地坐標(biāo)就是相對(duì)于這個(gè)場(chǎng)景的坐標(biāo))類似于frame和bounds的區(qū)別
*/@property(nonatomic,readonly) matrix_float4x4 localTransform;/**
世界坐標(biāo)矩陣
*/@property(nonatomic,readonly) matrix_float4x4 worldTransform;/**
錨點(diǎn)(3D虛擬物體,在虛擬世界有一個(gè)位置,這個(gè)位置參數(shù)是SceneKit中的SCNVector3:三維矢量),而錨點(diǎn)anchor是這個(gè)物體在AR現(xiàn)實(shí)場(chǎng)景中的位置,是一個(gè)4x4的矩陣
*/@property(nonatomic,strong,nullable,readonly) ARAnchor *anchor;
@end
```
各個(gè)類之間的交互流程:
ARCamera捕捉現(xiàn)實(shí)視圖,并把其信息交由ARSession處理。ARCamera捕獲的數(shù)據(jù)是一個(gè)一個(gè)的ARFrame構(gòu)成。
ARSession類會(huì)管理對(duì)現(xiàn)實(shí)世界的追蹤和移動(dòng),并整合和建立現(xiàn)實(shí)世界和虛擬世界的對(duì)應(yīng)關(guān)系,它追蹤的內(nèi)容由ARSessionConfiguration來(lái)決定。它會(huì)將ARCamera捕獲到的數(shù)據(jù)轉(zhuǎn)化成虛擬世界可展示的數(shù)據(jù)交給ARSceneView。
一個(gè)基于SceneView的ARSceneView以現(xiàn)實(shí)視圖為背景,展示SceneView形成的3D物體,其中的展示現(xiàn)實(shí)視圖的數(shù)據(jù)就是從ARSession獲得,每一個(gè)虛擬物體的場(chǎng)景(Scene)都對(duì)應(yīng)一個(gè)ARSession類。
ARSceneView作為SceneView的子類,是由一個(gè)一個(gè)的節(jié)點(diǎn)(node)組成,當(dāng)從ARSession獲得現(xiàn)實(shí)視圖的相應(yīng)數(shù)據(jù)后,ARSceneView會(huì)構(gòu)成相應(yīng)節(jié)點(diǎn)并將其作為根節(jié)點(diǎn)(背景)。