2.1　ラスベガス歌舞伎の概要

　2016年5月米国ラスベガスにおける，松竹主催の「Japan KABUKI Festival in Las Vegas 2016」にて，市川染五郎丈を中心とした華やかな顔触れにより，歌舞伎の魅力とプロジェクションマッピング等の先端的な映像表現を融合させた新作歌舞伎「KABUKI LION獅子王」が上演された．NTTは，このすばらしいラスベガス歌舞伎の魅力をより多くの方に伝えられるよう，様々なICTを活用した実験を行った．

2.2　ラスベガス実験

　①　変身歌舞伎

　上演前は，歌舞伎の世界観や様式への理解を深め，上演への期待感を高揚させ，上演までの待ち時間を楽しみへと変化させる絶好の機会である．また，劇場がラスベガスのホテル内にあったため，歌舞伎を見に来られた人々だけでなく，一般の観光客の方も多く劇場前を往来された．

　こうした方へ新しい体験を提供し，歌舞伎の魅力を深める，あるいは魅力を発見してもらうために，ラスベガスの劇場前に「KABUKI LION Interactive Showcase: 『Henshin Kabuki変身歌舞伎』｣⁽¹⁾を設置した．変身歌舞伎は，歌舞伎独特の化粧法である隈取をモチーフに，歌舞伎俳優への変身を通じて，日本が誇る文化と技術が織りなす不思議な世界感を体験できるインタラクティブ展示である．本展示には，三つの先端ICT技術が活用されている．

　体験者が好みの隈取お面を手に取り大形モニタの前に立つと，アングルフリー物体検索技術⁽²⁾によってお面の向きや傾きによらずお面が高精度に認識され，その隈取模様が体験者の顔にAR重畳表示（変身歌舞伎）されることにより歌舞伎役者への変身を体験する（図1）．

　また，巨大な立体顔面オブジェクトに歌舞伎特有の間や表情といったダイナミックな演出とともにプロジェクションマッピングを行うことで，演出における重要形成要素（キーポイント）を抽出して現実以上に際立たせるAmplified Experience（AX）というコンセプトと，その実現に必要なキーポイント抽出・強調技術の確立に向けた検証を行った．

　更に，壁面に掛けられた50個もの動くはずのない隈取お面が，変幻灯技術⁽³⁾によって，笑ったり，怒ったり，といった多彩な表情を自在に変化させた．

2.3　羽田実験

　「KABUKI LION獅子王」の最終公演日に，ラスベガス本公演の模様を日本の人々にも伝えるべく，羽田空港国際線旅客ターミナルのイベントスペースに空間そのものを転送し高臨場体験を提供する様々な実験を行った．

　①　Kirari!による劇場丸ごと転送

　距離や時間の制約のためにラスベガス本公演への参加がかなわなかった日本の方にも，ラスベガス公演に限りなく近い観賞体験を提供できれば，歌舞伎の魅力をより多くの方に共有することができる．その実現に向け，Kirari!を用いて4Kの高解像度映像を複数転送し，劇場空間を再現した（全天周ルーム）（図2）．

　ラスベガス本公演会場に設置した9台の4Kカメラの映像を，従来のH. 264/AVCに比較して2倍の圧縮性能を持つH. 265/HEVC（High Efficiency Video Coding）ハードウェアエンコード技術により符号化し，IPを含む多様なネットワーク間，及び複数の映像・音声といったメディア間の柔軟な同期と誤り訂正（FireFort -LDGM FEC）によるロバストな伝送が可能となるトランスポート規格MMT（MPEG Media Transport）を用いて，世界初の4Kマルチ映像の国際中継を実現した．全天周ルームでは，正面舞台に3面，舞台花道に4面（下手1面，背面3面），及び，天井に2面の計9面の180インチのスクリーンを設置し，4Kマルチ映像を同期投影した．

　②　Kirari!によるバーチャル舞台挨拶

　上演前に行われる舞台挨拶や記者会見は，観客の注目と期待を高め，パブリシティを高めるのに非常に有効である．羽田実験では，Kirari!を使った擬似3Dによる高臨場な遠隔舞台挨拶（図3）を実施した．Kirari!の被写体抽出技術を用いて，任意背景の映像から注目する人のみをリアルタイムかつ精緻に抽出し，遠隔会場に擬似3D表示した．これにより，ラスベガスにいる市川染五郎丈があたかも羽田会場にいるかのような世界初の遠隔舞台挨拶を実現した．

　③　ネットワーク

　ラスベガス会場と羽田会場間を結ぶ本実験ネットワークの構成を図4に示す．NTTサービスエボリューション研究所が運営する研究開発用ネットワークGEMnet2^(4),(5)，米国の研究教育ネットワークInternet2⁽⁶⁾，及び商用回線を組み合わせ，帯域1Gbit/sのネットワークを構築し，IPv4マルチキャスト50Mbit/s×13本のストリームを安定的に伝送した．また，ネットワークは2ルート化し信頼性を向上させた．両ルート共に，実験期間中のパケット紛失率は非常に低く，FEC（Forward Error Correction）でパケット紛失の回復が可能な状態であった．

2.3　熊本実験

　羽田実験から約10か月後の2017年3月に，熊本実験として「ラスベガス歌舞伎公演『KABUKI LION獅子王』凱旋イベントin熊本」を開催した．本イベントは，熊本地震からの復興を祈願して行われたものであり，熊本県，松竹，西日本電信電話株式会社（以降，NTT西日本），NTTの4社共催で熊本県庁にて開催された．また，本取組みは，NTT西日本，熊本県，熊本市が進める創造的復興と発展に向けてICTを活用した新たな地方創生（街・人・仕事の復興）を目指した「スマートひかりタウン熊本｣⁽⁷⁾プロジェクトの一つとして実施された．

　①　歌舞伎シアターバーチャル座

　熊本県庁の地下大会議室に特設ステージを設け，「KABUKI LION獅子王」の映像から特定のシーンを選択，編集した作品を3月11，12日の2日間にわたってKirari!を利用し上映した．熊本県民の方に好評を博すとともに多くのメディアにも取り上げられた．「KABUKI LION獅子王」の素材映像から被写体抽出技術を利用して歌舞伎役者を抽出し，擬似3D表示によって，あたかもステージ上で演技しているかのように演出したり，コンピュータグラフィックスによって生成された映像が飛び出してくるかのような感覚を与えたりするなど，歌舞伎の新しい表現の形を示した．特に，最後の獅子王の毛振りのシーンは，精緻化を向上させた被写体抽出技術⁽⁸⁾によって，髪の毛一本一本まで，細かく切り抜くことに成功し，より迫力のある演出を行うことができた（図5）．ステージは手前と奥との2段構成で映像を映し出すことができ，手前側には開閉式の扉を設け，閉じた状態では幅約15mのスクリーンとなり，開いた状態では幅約9mの奥行きのあるステージが現れる，といった工夫がなされた．手前スクリーンには，複数台の4Kカメラで撮影した映像を横方向につなぎ合わせる超ワイド映像合成技術⁽⁹⁾を利用して合成したパノラマ映像を，2台の4Kプロジェクタを用いて投影し，広がり感と没入感のある映像を表現した．また，音響については，錫杖の音や観客の拍手が会場内のスピーカのない位置からも再生されるという波面合成技術を利用し，より一層の臨場感を演出した．

　②　変身歌舞伎

　ラスベガス展示における大きな反響を受け，国内でも多くの方に体験して頂けるように，幅12.2m，高さ2.9m，奥行2.5mのコンテナトラックに展示物をパッケージングし（図6），熊本県内の4か所（熊本城二の丸広場［3月4～5日］，西原村構造改善センター［3月7日］，益城町保健福祉センター［3月8日］，熊本県庁［3月10～12日］）の被災地を回り，被災者の方に歌舞伎の持つすばらしさや，楽しさ，驚きや喜びを体験頂くとともに，その体験をインターネットで共有できることを目的とした．

　また，隈取模様が体験者の顔にAR重畳表示された写真（隈取写真）を，公式SNSアカウント^(10),(11)（Facebook，Twitter）にアップロードする機能を提供し，インターネット上での体験共有を実現した．

3.1　超歌舞伎概要

　2016年4月開催のニコニコ超会議2016⁽¹²⁾において，日本の伝統文化を代表する歌舞伎と若者文化を代表するボーカロイド・初音ミク⁽¹³⁾とを，最先端技術によって融合させた「超歌舞伎supported by NTT今昔饗宴千本桜（はなくらべせんぼんざくら）｣⁽¹⁴⁾が上演された．超歌舞伎では，歌舞伎俳優・中村獅童丈と初音ミクが，リアルとバーチャルの境界線を越えて共演し，多くの観客に驚きや感動を与えた．TVメディアやWebメディアにも数多く取り上げられるなど，新しい歌舞伎演出として高い評価を得た．

　更に，2017年4月開催のニコニコ超会議2017⁽¹⁵⁾においても，「超歌舞伎supported by NTT花街詞合鏡（くるわことばあわせかがみ）｣⁽¹⁶⁾を上演した．本公演では，更に進化させた最新技術を用いて，前年を超える高い臨場感を実現するなど更なる歌舞伎の可能性を示した．

3.2　適用技術

　①　ARライブ技術と双方向ネット演出

　超歌舞伎では舞台の様子を多くの視聴者に届けるため，ニコニコ生放送⁽¹⁷⁾でのライブストリーミング放送を行った．ドワンゴでは，ディジタルとリアルの境界線をなくすというコンセプトの下，従来の一方的な放送にはない付加価値を加えるため，ARライブ技術と双方向ネット演出を開発した．

　一つ目は，ARライブ技術による放送映像への拡張現実の付加である．複数の放送用カメラの位置とカメラパラメータをリアルタイムにトラッキングし，違和感のないようカメラ映像にCGを重畳することにより，ニコニコ生放送上でのみ体験できる様々な演出を実施した．例えば，龍が出現するシーンにおいて，実際の会場では見えないが，ニコニコ生放送上では前面のプロジェクタスクリーンから手前に龍が飛び出し，会場上空を旋回しているように見えるなどの演出を加えた（図7）．また，現実の舞台上では初音ミクなどのバーチャルキャラクタは透過スクリーンへプロジェクタ投影されているが，ニコニコ生放送上では同ARライブ技術により，より立体的な，スクリーン位置にとどまらないキャラクタの動きを実現した（図8）．このバーチャルキャラクタのAR重畳では，リアルな演者との共演を自然な形にするために，キャラクタらしい表現を残しつつ実写映像となじむ質感となるよう工夫した．更に，舞台上に設置した照明センサから照明環境を取得し，IBL（Image Based Lighting）をリアルタイム処理することによって，実際の舞台照明を反映したキャラクタを提示した．その結果，まるでキャラクタがその場にいるかのような実在感を得ることに成功した．

　二つ目は，ネットによるライブストリーミング放送という特性を生かした双方向演出である．従来の舞台生中継では，舞台側が主，ネット経由での視聴者が従とする考え方が一般的であった．しかし，超歌舞伎においては，視聴者の応援コメントがネット経由でリアルタイムに届けられ，それが大量に集まることによって事態の打開が図られるというシーンを用意した．ここではネット視聴者が主であり，視聴しながら入力したコメントがその場で舞台に反映される．ストリーミング放送インフラの低遅延性とコメント反映の高即時性といったニコニコ生放送の技術特性を生かした演出である．

　このように，舞台とニコニコ生放送のそれぞれの状況に適した異なる表現方法を提供することによって，二つの観賞方法に対してそれぞれの魅力を伝えることができるなど，遠隔ライブの世界において新たな付加価値の創出に成功した．

　②　Kirari!

　超歌舞伎では，Kirari!を構成する三つの技術を用いて，映像と音響演出の進化を図った．

　一つ目は被写体抽出技術⁽¹⁸⁾を用いた歌舞伎俳優と擬似3D虚像との共演である．撮影された映像から，着目する被写体のみを抽出する技術である．グリーンバックやブルーバック（クロマキー）を用いる必要がないため，そうした特殊撮影環境下での撮影が難しいスポーツや演劇，講演などでの利用に適している．処理の前段では，センサなどの情報から大まかな被写体の範囲を抽出（TRIMAP生成⁽⁹⁾）し，後段では被写体と背景の境界を精緻に特定するフレームワークとして色空間上最近傍探索⁽¹⁸⁾を行い，クラスタリングすることにより，前景と背景を精緻に分離する手法を確立した．この技術は，4Kといった高精細な映像に対してもリアルタイム処理可能な高速化を実現している．更に，歌舞伎における毛振りのシーンなどでは，髪の毛を自然な形で精緻に抽出することも可能である．こうして抽出した演者の映像を，様々な場所に立体的に投影することで，従来の舞台では実現できなかったリアルタイム分身の術など新しい演出を実現した（図9）．

　二つ目はバーチャルスピーカ技術⁽¹⁹⁾や波面合成技術⁽²⁰⁾を用いた立体的な音響演出である．2016年「今昔饗宴千本桜」では，スピーカを配置できないスクリーン上の被写体に音像を定位させるとともに，被写体の左右移動に追従して音像位置を制御することができるバーチャルスピーカ技術により，あたかも初音ミクの口元から声が発せられているような存在感の高い音響演出を実現した．また，2017年「花街詞合鏡」では，音響再生技術の波面合成を用いて，近くにスピーカが設置されていない客席においても立体的な音を作り出すことに成功した．具体的には，超歌舞伎の会場において，総延長36mにわたる240台のスピーカが客席を囲むように並べられ，客席に飛び出す迫力のある音を作り上げ，雷鳴や鈴の音などが，まるで音源が客席近くにあるかのような音響空間を実現した．

　三つ目は，2016年の「今昔饗宴千本桜」において，スマートフォンと組み合わせて手軽に3D映像を視聴できるペーパークラフト型デバイスKirari! for Mobile⁽²¹⁾（図10）を提供し，箱の中に浮かび上がる初音ミクを鑑賞しながら上演後の超歌舞伎の余韻を味わう体験を実現した．

　③　超変身歌舞伎

　超歌舞伎2017では，前述の変身歌舞伎を更に進化させ超変身歌舞伎として超歌舞伎会場内に展示し，参加者に体験頂いた．超歌舞伎では，1回の公演での入場者が約5,000名と多く，更に巨大なスクリーンや花道など大きな舞台セットがある．これまでの展示場所とは大きく異なるこうしたスケールの大きな空間においても，多くの方に変身歌舞伎の魅力を伝えられるよう，UXコアコンセプトであるAXを更に拡張させた．具体的には，隈取が重畳された参加者の顔をプロジェクションマッピングさせる顔模型のサイズを，従来の1.5mから10mへ大幅に拡張した．「デカオー丸」と名付けたこの模型は，舞台の前方最上部に設置され（図11），会場全体から視認することができた．

　こうした公共性の高い空間において，自身の顔が巨大に投影される体験は，役者が経験する「多くの人に見られる」体験を擬似化したものであり，より高度な変身体験へとつなげた．