電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
3Dキャプチャ技術の進化と展望
小特集 2.
ニューラル場を用いた3Dキャプチャ技術
Neural 3D Capture
Abstract
3Dキャプチャに特化した撮影デバイスやシステムを用いず,通常のカメラで撮影した写真のみから3Dモデルを生成する技術をフォトグラメトリという.フォトグラメトリは長い歴史を持つ技術だが,深層学習の発展にヒントを得て,近年になって著しく精度が向上した.本稿ではその代表例であるNeural Radiance Feilds(NeRF)と3D Gaussian Splatting(3DGS)を取り上げ,それらが従来の3Dキャプチャの課題をどのように克服したのか,今日までどのように発展してきたのか,そしてどう実用できるのかについてを説明する.
キーワード:3Dキャプチャ,3D再構成,フォトグラメトリ,NeRF,3DGS
現実世界の物体やシーンを3Dデータに変換する3Dキャプチャは,3Dキャプチャに特化した撮影デバイス(深度センサなど)や撮影システム(照度差ステレオなど)を用いる形式と,ごく普通のカメラで撮影した写真を大量に用いる形式に大別することができる.一般に前者の方が高精細に3Dキャプチャを行うことができる一方で,専門的な装置が必要なためキャプチャできるものの種類が制限され(例えば実験室にゾウを持ち込むのは難しい),また誰でも気軽に3Dキャプチャを行えるとは言えなかった.対して後者の方式では3Dキャプチャを手軽に行え,扱えるものの種類も多いが,しかしキャプチャのクオリティは見劣りするという現実があった.
ところが近年,写真のみから3Dモデルを生成するアプローチに技術革新があり,図1に示すように,クオリティに大幅な向上がもたらされた.Neural Radiance Fields(NeRF(1))や3D Gaussian Splatting(3DGS(2))に代表される新しい技術は,幾つかの独立したステップを経て3Dモデル化を行う従来的な方法と異なり「見た目が良いような3Dモデルを直接的に最適化・生成する」ことに特徴があり,これは実のところ深層学習の発展の延長線上にあるものであると言える.
本稿ではNeRFや3D Gaussian Splattingを取り上げ,それらが従来の3Dキャプチャの課題をどのように克服したのか,今日までどのように発展してきたのか,そして実用的にどのような課題を抱えるのかについて説明してゆく.
現実世界の物体やシーンについて,多数の写真を撮影し,それを基に3Dモデルを生成する技術をフォトグラメトリという.人間は左右の目から得られる撮像を統合することで奥行きなどの三次元形状を推定しているが,フォトグラメトリはそれを数百個以上の目で行うものだと捉えることができる.
右目から見える光景と左目から見える光景には微妙なずれがあり,同じものを見ていても,視野のどの位置に映るのかが異なる.そのずれは手前にあるものほど大きく,遠方にあるものほど小さい.そのため,左右で見える位置のずれを使うことでそのものの奥行きがどれくらいかを推定することができる.従来的なフォトグラメトリ技術はこの原理に基づいている.
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード