3.1　基本要素

　Visual SLAMは，以下のような基本要素により実現される．

 （１）特徴点マッチングによる特徴点の追跡

　図1に示すように，カメラの移動に伴って撮影される各画像で検出した特徴点をマッチングし，空間の同一の三次元位置に対する特徴点の二次元位置として複数の画像にわたって追跡する．このプロセスには以下の主要な2ステップが必要である．

特徴点の検出と特徴記述：「特徴点」とは，異なる画像間で同一の点であるかどうかを判断するのに十分な特徴を持つ点であり，これを検出し，その特徴をベクトル量として記述する．

特徴点のマッチング：上記の特徴点検出と特徴記述に基づき，異なる画像間での特徴点のマッチングが行われる．

　この分野の研究は，SIFT（Scale-Invariant Feature Transform）⁽²⁾の登場をきっかけに盛んになり，それ以降，多様な手法が提案されている．

 （２）三次元マップの初期化

　Visual SLAMの開始時に最初に取得された画像1と，カメラ移動後に得られる次の画像2の間の二次元特徴点ペア群（図1では［, ]，［，]，［，]，［，]，［，]）を用いて，画像1を撮影したカメラの位置姿勢を基準とした三次元座標系において，画像2を撮影したカメラの三次元ポーズ(，)を推定する．この推定を基に，各二次元特徴点ペアから三角測量計算を行い，それぞれの特徴点ペアが示す三次元位置(，，，，)を推定することで，三次元マップの初期化を行う．

 （３）特徴点追跡による三次元ポーズ推定と三次元マップの更新

　三次元マップ初期化後，カメラが移動して得られる新しい画像（画像3）と，三次元マップ生成時の画像（画像2）の間で特徴点を追跡する．図1では，［，]，［，]，［，]が追跡されている．この追跡により，三次元マップの各点と画像3に撮影された二次元点との「3D-2Dマッチング点群」（図1では，［，]，［，]，［，]）が得られ，これを基にして画像3を撮影したカメラの三次元ポーズ(，)を推定する．この推定は，PnP（Perspective-n-Point）問題⁽¹⁾として知られ，多くの手法が提案されている．

　画像3のカメラ三次元ポーズが得られると，画像1から3にわたる画像群の中で，以前の三次元マップに含まれなかった新しい特徴点についてもマッチングが行われる（図1では，［，]，［，）．これらの特徴点の三次元位置，は三角測量によって推定され，これにより三次元マップが更新される．

　このプロセスは，引き続き新しい画像（画像4，画像5など）が得られるたびに繰り返される．

3.2　性能向上のための構成要素

　以上をまとめると，Visual SLAMは，特徴点マッチングを画像列間で繰り返しながら追跡した特徴点群の二次元位置から，最初に三次元マップの初期化を行った後に，カメラの三次元ポーズ推定と三次元マップ更新を繰り返し行う形で進行する．

　ただし，このプロセスを繰り返すたびに発生する誤差がカメラの移動とともに蓄積してしまう．この誤差蓄積を防ぐために，三次元マップ中の各点を各画像撮影時のカメラの三次元ポーズで再投影した二次元位置と，特徴点として検出された二次元位置の差異（再投影誤差）を最小化し，三次元マップと三次元ポーズの精度を向上させる．この処理を「Bundle Adjustment」⁽¹⁾と呼ぶ．

　更に，カメラの移動に伴い，三次元マップ内の点がカメラの視野から外れ，結果としてカメラの三次元ポーズを見失うことがある．このような場合には，カメラの三次元ポーズを見失った画像について，以前に撮影した全ての画像から同一の二次元点を検出し，三次元マップと対応する点を再検出して，その位置と姿勢をPnP解法により推定する．この処理は「Relocalization」と呼ばれる．同様に，カメラ移動開始時の画像とマッチングすることで，蓄積されたカメラ移動の誤差を最小化し，これまでに得られた三次元マップと三次元ポーズ全体を更新する「Loop Closure」処理も重要である．

　また，実際の処理では，撮影される全ての画像を利用すると計算量が膨大になり，新たな画像に対する処理が間に合わなくなる可能性がある．このため，推定精度や処理速度を考慮しながら，上記の処理に利用する画像を適切に選択する「キーフレーム選択処理」が必要となる．