小特集 2. ニューラル場を用いた3Dキャプチャ技術

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.107 No.10 (2024/10) 目次へ

前の記事へ次の記事へ


3Dキャプチャ技術の進化と展望

小特集 2.

ニューラル場を用いた3Dキャプチャ技術

Neural 3D Capture

加藤大晴

加藤大晴 (株)Preferred Networks

Hiroharu KATO, Nonmember (Preferred Networks, Inc., Tokyo, 100-0004 Japan).

電子情報通信学会誌 Vol.107 No.10 pp.931-935 2024年10月

©2024 電子情報通信学会

Abstract

 3Dキャプチャに特化した撮影デバイスやシステムを用いず,通常のカメラで撮影した写真のみから3Dモデルを生成する技術をフォトグラメトリという.フォトグラメトリは長い歴史を持つ技術だが,深層学習の発展にヒントを得て,近年になって著しく精度が向上した.本稿ではその代表例であるNeural Radiance Feilds(NeRF)と3D Gaussian Splatting(3DGS)を取り上げ,それらが従来の3Dキャプチャの課題をどのように克服したのか,今日までどのように発展してきたのか,そしてどう実用できるのかについてを説明する.

キーワード:3Dキャプチャ,3D再構成,フォトグラメトリ,NeRF,3DGS

1.は じ め に

 現実世界の物体やシーンを3Dデータに変換する3Dキャプチャは,3Dキャプチャに特化した撮影デバイス(深度センサなど)や撮影システム(照度差ステレオなど)を用いる形式と,ごく普通のカメラで撮影した写真を大量に用いる形式に大別することができる.一般に前者の方が高精細に3Dキャプチャを行うことができる一方で,専門的な装置が必要なためキャプチャできるものの種類が制限され(例えば実験室にゾウを持ち込むのは難しい),また誰でも気軽に3Dキャプチャを行えるとは言えなかった.対して後者の方式では3Dキャプチャを手軽に行え,扱えるものの種類も多いが,しかしキャプチャのクオリティは見劣りするという現実があった.

 ところが近年,写真のみから3Dモデルを生成するアプローチに技術革新があり,図1に示すように,クオリティに大幅な向上がもたらされた.Neural Radiance Fields(NeRF(1))や3D Gaussian Splatting(3DGS(2))に代表される新しい技術は,幾つかの独立したステップを経て3Dモデル化を行う従来的な方法と異なり「見た目が良いような3Dモデルを直接的に最適化・生成する」ことに特徴があり,これは実のところ深層学習の発展の延長線上にあるものであると言える.

図1 従来式のフォトグラメトリ技術と近年のニューラル系のフォトグラメトリ技術の比較  (a)は商用ソフトウェアRealityCaptureによって得られた3Dモデル,(b)は筆者の所属する(株)Preferred Networksの内製システムで得られた3Dモデルであり,両者とも3Dモデル化に用いた画像は同一である.柵などの細かい構造や,遠方のスケールが大きな構造の再現性が大きく向上している.([[:wrap https://pfn3d.com/jlox-2023]])

 本稿ではNeRFや3D Gaussian Splattingを取り上げ,それらが従来の3Dキャプチャの課題をどのように克服したのか,今日までどのように発展してきたのか,そして実用的にどのような課題を抱えるのかについて説明してゆく.

2.一気通貫フォトグラメトリへ

2.1 従来のフォトグラメトリとその課題

 現実世界の物体やシーンについて,多数の写真を撮影し,それを基に3Dモデルを生成する技術をフォトグラメトリという.人間は左右の目から得られる撮像を統合することで奥行きなどの三次元形状を推定しているが,フォトグラメトリはそれを数百個以上の目で行うものだと捉えることができる.

 右目から見える光景と左目から見える光景には微妙なずれがあり,同じものを見ていても,視野のどの位置に映るのかが異なる.そのずれは手前にあるものほど大きく,遠方にあるものほど小さい.そのため,左右で見える位置のずれを使うことでそのものの奥行きがどれくらいかを推定することができる.従来的なフォトグラメトリ技術はこの原理に基づいている.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録

  

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。