1．CT/MRI画像超ざっくり事始め

　CT^(用語)画像（図1(a)）とMRI^(用語)画像（同図1(b)）は，撮影原理も見た目も異なるが，どちらも基本的には平面で人体を輪切りにした医用画像であり，かつ一般的には平面の位置が少しずつ平行移動された連続画像として与えられる．細かくは様々あるが，基本は各ピクセルにスカラ値が一つ与えられており，値に基づいてグレースケールの色を当てはめることで白黒画像として提示される．その他，1ピクセルの縦横の実世界での長さや，連続する2枚の画像間の距離などのヘッダ情報が与えられており，技術的にはスカラ値の集合のボリューム（ボクセル）データと考えてほぼ差し支えない．（実際にはヘッダには画素データ以外にも多くの情報が記録されているがここでは触れない．）最近では縦横が1,024×1,024あるいは2,048×2,048ピクセルの高解像度の画像も時折見かけるものの，多くの医療現場では512×512ピクセルの画像が連続している．大分粗いという印象を持つかもしれないが，実世界では1ピクセルが0.4～0.7mm程度に相当し，十分に細かいことのほうが多い．

2．医療現場における3DCG

　ボリュームデータであるCT画像やMRI画像は，当然3DCGとして再構成することも可能であり，医療現場では医用画像からの3DCG再構成は何ら珍しいことではない．CT画像やMRI画像の画素値（見た目にはグレースケールの白黒）を見て肝臓腫瘍とその周囲の肝臓実質とのコントラストを比較したりすることで腫瘍の種類を推測する，というようないわゆる画像診断を行う場合には3DCGではない方がよいことの方が多いが，特に外科手術を前提にして，骨や血管，疾患部位との位置関係（これを外科解剖と呼んだりする）などを知りたい場合には，元々の画像を一生懸命眺めるよりも3DCGにした方がはるかに立体構造を理解しやすい．というよりボリュームデータなのだから，立体構造把握が目的であれば3DCGとして再構成することが本来あるべき姿であることは，医療関係者よりも技術者の方が納得しやすいだろう．放射線科的な画像診断と外科的な外科解剖の理解とでは，同じ医用画像でもその用い方が全く異なる．

　その医療現場における外科解剖の理解のための3DCGの特筆すべき点は，何よりも見た目がダサいことである．ダサ過ぎると言ってもよい．ダサい3DCGの文献を具体的に引用するのは申し訳ないので，是非 “3DCG Reconstruction CT Bone” などで画像検索をしてみてほしい．“Bone” は “Chest” でも “Head” でもよい．実にダサい画像が並ぶのである．それでも近年ではある程度見た目を気にした医用画像処理ソフトウェアも存在するのだが⁽¹⁾，今度はそのきれいな3DCGを生成するのに時間がかかりリアルタイムに動かすことができない．動かしている間は極めて低解像度のざらざらの3DCGになってしまい，動きを止めるとしばらくしてようやくきれいな3DCGが出来上がる．それでも3DCGが必要とされる場合，医療現場ではどのように運用されるだろうか？　多くの場合，外科解剖を理解したい外科医自身ではなく，CT画像やMRI画像の撮影を専門にする診療放射線技師が，市販の医用画像ワークステーションソフトウェアなどを用いて，長いと1時間以上かけて作った3DCGを，数十枚のパラパラ漫画で1回転するような連続画像にしたものを外科医が見るのである．診療放射線技師があらかじめ作っておいた全く修正や変更ができないパラパラ漫画の3DCG画像を見ることしかできないため，もはや3DCGでも何でもなく，「ここはもうちょっと別の角度から見たかったのだけど…」「太い血管はどうでもよいからもう少し拡大して細い血管をしっかり見たかったのだけど…」というようなことが容易に起こり得る．もちろん，3DCG作成の作業を外科医が自ら行う場合もあり，特に肝臓外科や脳外科で多いが，医師が行ったから短時間で終わるということはなく，忙しい医師にとって膨大な時間が費やされることになる．

　一方世間一般で3DCGと言えば，10万円以下のゲーム機で実写と見間違うほどの3DCG空間をキャラクタが自由に飛び回ったり⁽²⁾，50万円程度のゲーミングPCを用いれば実写のハリウッド映画の本編と間違えるような3DCGをリアルタイムに動かせたりできる⁽³⁾．

　医療の世界は常に最新技術が用いられると想像している方も多いと思うが，医療現場における3DCGの見た目は世間一般からは程遠い古さが世界でまかり通っている．ボリュームデータから3DCGの表面メッシュを生成するアルゴリズムの金字塔であるMarching Cubes法が発表されたのは遡ること40年近く前の1987年であるが⁽⁴⁾，当時の論文に掲載されている図と，21世紀の現在に医療現場で広く使われている3DCGの見た目とがそれほど変わっていないのである．

　もちろん，医用画像処理ソフトウェアが何もかもダサいわけではない．見た目が軽視されがちな一方で，高度な医用画像処理の研究や実装は今も昔も活発に行われている．最近ではAI画像処理を活用することで，これまでのヒューリスティックな画像処理ではできなかったような複雑な病変の抽出や各臓器の識別も一部ででき始めている．しかし，どんなに画像処理技術が向上しても，処理結果を判断するのが人間である限り，少しでもきれいな見た目で分かりやすく提示されることは必須である…と主張したいところだが，3DCGがきれいに提示され，かつそれをユーザがその場で自由に動かせることで本当に医療現場で何かが変わるのだろうか…？

3．超速く，超きれいに

　そこで筆者は，「超速く」と「超きれい」を両立させた医用画像処理ソフトウェアViewtify（Viewtifyは登録商標）を開発した．「超速く」を実現させるために，ボリュームデータからの3DCGメッシュ生成のほぼ全てをGPU上で並列処理で行い，「超きれい」を実現するために，その生成された3DCGデータをゲーム開発用のエンジンプラットホームの一つであるUnreal Engine⁽⁵⁾に直接渡し，Unreal Engineの高品質かつ高速な3DCGレンダリング技術を用いて3DCGを完成させるようにした．Unreal EngineはドラゴンクエストXIやフォートナイトなどのゲーム開発にも採用されている代表的なゲームエンジンであり，ゲームの世界で使用されている最新の3DCG表現手法を簡単に用いることができる．

　図2(a)は，医療現場で一般的に使われているようなダサい3DCGをCT画像から筆者があえて作ったものである．一方図2(b)は，図2(a)と3DCGの形状も構図も全く同じであり，その見た目だけが異なるものである．図2(b)では特に陰を強調し，コントラストを際立たせることで各構造物の前後関係が非常に見やすくなっている．例えば矢印で示したところにはそれぞれ突起物があるのだが，図2(b)では一目で分かるが，図2(a)では目を凝らさなければ見落としてしまう可能性が高いのではないだろうか．これは心臓の左心室にある乳頭筋と呼ばれる筋肉であり，心臓内の重要な構造物である．図2(b)を見ると★及び☆マークのところに合計三つの血管分岐があることも一目瞭然だが，図2(a)では油断すると分からないのではないか．★は左右に分かれている正常な肺動脈であり，通常はこの2分岐しかないが，本症例では三つ目の分岐（☆）がある．これは大動脈弓離断と呼ばれる疾患で，大動脈（▲）が途中で途切れてしまい，身体の下に向かう大血管が大動脈ではなく肺動脈から出てしまっている．更に図2(b)では陰が強調されているため■の部分に仕切りのようなものがあり，奥に構造物があることが容易に予想できるが，図2(a)では目を凝らしてもほぼ分からないのではないか．この仕切りは左心房と左心室との間にある僧帽弁と呼ばれる弁であり，弁の奥にあるのが左心房である．

　もちろん実際の医療現場では3DCGだけで判断されることはなく，元々のCT画像に加え，心エコーや心臓カテーテル検査など，他の多くの検査結果も踏まえて診断されるわけではあるが，形も構図も全く同じ3DCGでも，見た目が変わるだけでこんなにも立体構造把握が異なることが伝わっただろうか．Viewtifyでは既存のソフトウェアよりも100～1,000倍近く高速にこの見た目の3DCGを生成及び表示することができるため，体感的には待ち時間0でリアルタイムに3DCGを操作することができる．

　ちなみに本症例は生後1日の患者さんのCT画像であり，posterior TGAタイプの両大血管右室起始症（DORV, Double Outlet Right Ventricle）に大動脈弓離断タイプAを合併した症例である．医師のための外科解剖の理解のみならず，患者さん御本人や御家族への説明用資料としても，見た目がきれいな3DCGの方が圧倒的に分かりやすい．

4．これまでの3DCGは3Dではない…！

　CT画像やMRI画像のようなボリュームデータをリアルタイムかつきれいな見た目の3DCGとして表示できることで，ようやくボリュームデータの持つ本来の情報量を人間の目に提示できるようになった…と言いたいところだが，これまでの3DCGには大きな問題がある．それは，画面に提示されている3DCGは3DCGではあるが3Dではないということだ．どんなに見た目にこだわっても，平面モニタに3DCGを表示している限り，それは結局は二次元，つまり2Dであり，3Dっぽく表現された平面なのである．奥行情報は全て取り除かれてしまっており，各構造物の前後関係は分かっても，どの程度手前なのか，あるいは奥なのかは，3DCGを回転させるなどして大雑把にしか理解できないのが限界だろう．この点は3Dプリント模型などの実体物には永遠に及ばない．

　しかし，そんな状況が一変したのが2020年秋にソニーから発売された裸眼立体視ディスプレイ（ELF-SR1）である．これは偏光板レンズなどの特殊な眼鏡を必要とせず，ディスプレイ上部に設置されているカメラが特定の一人を認識し，4K解像度のside by sideの立体視用の映像を，右目に右目用の画像，左目に左目用の画像が直接入り込むように映し出すことで，視差情報が網膜に直接送り込まれ，正確な奥行き感のある3DCGを表示することができる．更に，カメラに視線追跡機能が付いているため，カメラが目を認識できる範囲ではあるが，右から見たり左から見たり，あるいは少し上からのぞき込むようなこともできる．実機の前に座らない限り伝わらず，写真や動画像ではどんなに頑張っても全く伝わらないところが弱点ではあるが，このような立体視ディスプレイを用いることで，3DCGを奥行き感のある本当の3Dとして提示することができるようになった．Viewtifyもいち早くこの裸眼立体視ディスプレイに対応することで，医用画像から生成した3DCGを本当の3Dとして表示することが可能である（図3）．裸眼立体視ディスプレイはその後台湾のAcerからも販売され（SpatialLabs View Pro），従来の15.6インチ型に加え，ソニーからは2023年に，Acerからは2024年に27インチ型のELF-SR2及びSpatialLabs View Pro 27も発売された．27インチであれば，成人の臓器を実寸で画面からはみ出ない形で表示することも可能である．

5．超速い，超きれい，本当の3Dが変えたこと

　超速い3DCGメッシュ生成はGPUを用いる3DCGエンジニアであれば原理は恐らく誰もが知っており，超きれいな3DCGレンダリングは基本的にはゲームエンジンに任せ，奥行情報を提示できる本当の3Dは市販の裸眼立体視ディスプレイを用いており，真の技術革新や全く新しいアルゴリズムはViewtifyには何もない．それぞれを泥臭く一気通貫でつなげただけである．

　しかし，全てをリアルタイムに行えるようになったことで，外科医自身が思う存分その場で幾らでも3DCGを微調整し，好きな方向から確認できるようになり，自ら操縦士になることができるようになった．その上，裸眼立体視ディスプレイを用いることで奥行情報も提示されるため，立体構造を確認したいだけであればわざわざ3Dプリンタ出力する必要もない．3Dプリンタ出力はそれだけで時間がかかる上，現実の世界に模型として成立させるためには，表面にある程度の厚みをつけたり，画像上細くてところどころ途切れてしまっている血管を全てつなげたりする必要があるほか，出力された模型はその場で微調整することも，何回も断面を作ることもできない．3DCGであれば，元々の医用画像との位置関係の対応付けも容易であり，奥まったところでも正確な距離計測が可能である．もちろん，術前に医療器具が入るかどうかを検証したり，無理やり曲げたときに奥まで見えるかなどを確認したい場合には（ある程度柔らかい）模型の方が適していることもあり，模型を全否定しているわけでは全くない．

　2023年にはViewtifyを用いた初めての英語論文が東京大学医学部附属病院から発表された⁽⁶⁾．両大血管右室起始症の症例（図2とは異なる症例）で，Viewtifyを用いて心臓内部の立体構造をあらかじめ術前に立体的に観察できたことで，単心室修復ではなく二心室修復ができたという報告である．両大血管右室起始症は理解がとても難しいためここでは省略するが，単心室修復では，本来左心室と右心室の二つの心室があるべきところ，心室を一つのみにして大動脈に血液が流れるようにし，全身から帰ってきた血液は心臓を通らずに直接肺動脈に流れるように血管をつなぎ変える．一方二心室修復では，正常な心臓と同じように，心臓の中で心室が右心室と左心室とに分かれ，右心室からは肺動脈，左心室からは大動脈につながる．二心室修復がしっかりできれば，単心室修復と比較して寿命が20年近く延びるとも言われているが，両大血管右室起始症では立体構造の制約から単心室修復を選択せざるを得ない場合もある．見た目のきれいな3DCGを外科医本人が自由自在に操作でき，かつ立体視ディスプレイを用いることで奥行情報のある真の3Dとして観察できたことで術式自体が変わるほどの威力を発揮する．当該患者さんの寿命が本当に20年近く延びるかどうかは現時点では分からないが，3DCGが目の前の患者さんの寿命を大幅に延ばす可能性も秘めているのである．

　ほかにも，2024年には12月1日時点でViewtifyが用いられた英語論文が8本発表されている^(7)～(14)．

6．ま　　と　　め

　まだまだ改良の余地は多く残るものの，医用画像からの3DCG再構成を「超速く」「超きれいに」，かつ立体視することで，人体の立体構造を単に理解しやすくなるだけではなく，治療戦略や患者さんの寿命にまで影響する可能性が十分にある．既存の技術の組合せでも，適切に組み合わせることでまだまだ多くの可能性があることを感じて頂ければ幸いである．

文　　　　　献

（2024年7月26日受付）