電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
2. 通信・無線・放送
リアルタイムデータフィードを活用したユニバーサルサービス
Universal Service Utilizing Real-time Sports Data Feeds
東京2020オリンピック・パラリンピック競技大会において,OBSからリアルタイムに配信される競技データから実況文を自動生成し,合成音声と字幕,手話CGで伝える技術を開発し,ライブストリーミング映像に付加するユニバーサルサービスを実施した.インターネットの特設サイトで,視覚や聴覚に障がいのある人や,自動車の運転中などで画面を見られない状況にある人,電車内にいて音声を出せない環境にいる人にも,スポーツ実況をユーザの状況に合わせて分かりやすく提供した.本稿では,ロボット実況・字幕,手話CG実況の自動生成技術について解説する.
キーワード:視覚障がい,聴覚障がい,情報保障,手話,自動実況,発話生成,音声合成,手話CG
映像コンテンツに対してアナウンサーが実況やナレーション等の音声による説明を加えることは,番組制作において広く行われている.これは,映像を見なければ分からない情報を伝えるために有用であり,障がいの有無にかかわらず全ての視聴者に同等の情報を伝えること(これを「情報保障」と呼ぶ)が可能となる.また映像を見ても分かりにくい内容のより深い理解を助ける意味で,多くの視聴者にとって有用である.従来,ライブ配信サービス等の放送外サービスにおいて,人的リソースの制限等のため音声や字幕の付与をあきらめるケースがあり,コンテンツをより多くの人に楽しんで頂くという観点で問題となっていた.
また,実況・ナレーション等の付与された番組においても,それらは映像情報と合わせて受容する視覚に障がいのない方々を主な対象として行われるため,視覚に障がいのある方々に対しては十分でないことが多い.これを保障するための音声付加サービスが解説放送であるが,特に生放送番組では放送音声を聞きながらタイミング良く解説する情報を判断して発話するのに解説付与者の負荷が高く継続的なサービスには至っていない.
更に,聴覚に障がいのある方々への情報提供の手段として字幕があるが,生まれつき耳が聞こえない方や,幼い頃に聴覚を失った方にとっては,手話が母語であり,日本語により提供される情報の理解や長時間の視聴が大きな負荷になってしまう方もいる.
このような課題の解決のために,特に生放送コンテンツに対して,人間に代わって状況を適切に説明する音声や字幕,手話CG(Computer Graphics)を自動生成する技術の開発が望まれている.これを受けてNHKでは,スポーツの実況を自動生成する研究開発を進めてきた.一般にスポーツコンテンツは映像の情報量が多く,映像を見ることができる方々にとっても,実況は試合内容の理解に欠かせない.そこで我々は,試合進行に同期してリアルタイムに入手可能な競技データから実況文を自動生成し,それから音声合成を用いて音声実況を,CGアニメーション技術を用いて手話実況を,それぞれ生成する技術の開発に取り組んだ.
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード