直接法估計相機位姿(inverse compositional)

直接法是用于視覺里程計估計相機位姿的一種重要方法。相比于其他依賴幾何特征做相機位姿估計的方法,直接法具有無需計算特征點、不會丟失圖像信息的特點,并且在缺乏幾何特征的場景,比如白墻或者走廊等依然可以有效的工作。


下面我們就對直接法做詳細的說明:
直接法最直觀簡單的應用在于RGB-D相機,這種相機可以得到同一時刻RGB圖像和深度圖像,根據深度圖像可以得到每一個像素點在三維空間中的坐標,所有的這些三維點就形成的被拍攝場景中物體的surface,同時也知道每一個surface點對應的顏色信息。相機在運動過程中會產生一系列連續的RGB-D數據,給定了前后兩幀RGB-D數據,也就是連續兩幀的surface和RGB信息,我們就可以找到一個變形(warp),使得后一幀的輸入圖像與前一幀的模板圖像相配準(alignment)。這個warp代表了我們要尋找的相機位姿的變換。

1、必備知識點
1-1 圖像配準

關于圖像配準的方法,請參考博文對三種圖像配準方法的說明,其中詳細說明了三種圖像配準方法的思想和算法流程,由于inverse compositional方法效率最高,不需要迭代地計算Hessian矩陣,這里,我們在介紹相機位姿估計時仍然選擇應用最廣泛的inverse compositional method來介紹。如果要更加詳細的了解有關圖像配準方面的知識,可以閱讀參考文獻[1]。

1-2相機模型、剛體運動模型和李代數

這部分內容可以參考博文相機模型、剛體運動模型與李代數。這篇博文對上述幾個方面進行了簡要的介紹。如果要對這部分內容做更深入的了解,可以閱讀參考文獻[2]。

2、inverse compositional estimation of camera pose

我們依舊參考圖像配準中inverse compositional 方法,算法迭代更新方式如圖1所示。


圖1.算法迭代更新公式

泰勒展開線性化如圖2所示:


圖2.線性化求解過程

算法流程圖如圖3所示:
圖3.inverse compositional算法流程

下面我對上述公式中出現的符號做相應的解釋:
▽T指的是模板圖像T在x方向和y方向上的梯度圖,如圖4所示:


圖4.模板梯度

變換矩陣W對未知參數的導數即J草編矩陣可以用鏈式求導法則來計算,即如圖5所示。
圖5.Jacobian矩陣

[1]Baker S, Matthews I. Lucas-kanade 20 years on: A unifying framework[J]. International journal of computer vision, 2004, 56(3): 221-255.
[2]Ma Y, Soatto S, Kosecka J, et al. An invitation to 3-d vision: from images to geometric models[M]. Springer Science & Business Media, 2012.

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,401評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,011評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,263評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,543評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,323評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,874評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,968評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,095評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,605評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,551評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,720評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,242評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,961評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,358評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,612評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,330評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,690評論 2 370

推薦閱讀更多精彩內容

  • 一.Android中開發相機應用的兩種方式 Android系統提供了兩種使用手機相機資源實現拍攝功能的方法,一種是...
    GB_speak閱讀 5,844評論 2 25
  • 本文介紹一種單目視覺里程計的方法,重點說明當前幀的半稠密深度圖估計過程,估計到的半稠密深度圖反過來又可以用于跟蹤當...
    變胖是夢想2014閱讀 10,234評論 0 2
  • 本文將介紹如何根據相機在不同位置拍攝的兩張圖片恢復出相機的運動。在多視圖幾何學中,這被稱為對極幾何。 一、對極幾何...
    金戈大王閱讀 15,535評論 9 7
  • 前面用了好幾篇文章介紹特征點法的相機位姿估計,本文則換一種思路,介紹近年來日漸流行的直接法。 一、直接法 與“光流...
    金戈大王閱讀 6,426評論 0 1
  • 音樂類手游有不少 節奏大師曾經風靡一時 但它的逼格實在…… 恩所以小高今天整理了一些高顏值音樂手游 大琴師貳 ▼ ...
    游戲梵高_梵小高閱讀 1,830評論 0 0