|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
|
|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
カラオケ店舗におけるリアルタイム歌声変換技術の実証実験の取組み
A Demonstration Experiment Project of a Real-time Singing Voice Conversion Technique That Works on Commercial Karaoke Places
A bstract
筆者らは「なりきりマイク」と題して，商業カラオケ店舗において一般の人が特定の歌手に「なりきる」体験を楽しめる実証実験企画を実施した．この取組みは，筆者らが開発したDeep Neural Networks（DNNs）によるリアルタイム歌声変換技術の応用価値を探索するための実験的な企画として期間限定で行われた．本稿では，実際にカラオケ店舗に設置したシステムの概要と，企画当初からのプロジェクト背景及び実践的な開発において直面した技術面の課題と対策について，技術開発と企画の両方に携わった筆者の観点を交えて解説する．
キーワード：リアルタイム歌声変換，歌声合成，深層学習，実証実験
2022年の8月25日から10月11日まで全国3か所のカラオケ店舗で，誰でもそのマイクを通して歌えば音楽グループEvery Little Thing（ELT）のボーカル持田香織さんの声になれるサービス「なりきりマイクfeat. ELT持田香織」が実施された．ここではヤマハ株式会社が開発したリアルタイム歌声変換技術TransVox(注1)を用いており，なりきりマイク(注2)のサービスはその技術の実証実験を目的として期間と場所を限定して行われた取組みである．本稿ではこの「なりきりマイク」のサービスを実現したリアルタイム歌声変換技術TransVoxの技術的な概要及び，なりきりマイクの企画実現に至るまでの経緯について紹介する．
「なりきりマイクfeat. ELT持田香織」は，入力音声を持田香織さんの声に変換する特殊なマイクをカラオケ店舗の中の特設ルームに設置し，来場客がそれを自由に使えるサービスとして実施された．ここで入力された音声は歌声だけでなく話し声や非言語音声でも変換するようになっており，また部屋内のカラオケシステムで流す曲とは全く関係なく変換処理が行われるので，選曲や状況によらず常に持田さんに「なりきる」ことが可能なシステムとなっている．そのシステム構成を図1に示す．なりきり“マイク”というネーミングではあるが，ここで使用されたマイクそのものは一般的なダイナミックマイクであり，実際の変換処理は部屋に設置されたパソコンの中のTransVoxアプリケーション内で行われ，変換音声は部屋の音響設備を通して出力される．部屋内には専用マイクのほかに利用客が使用可能な形で専用のコントローラが設置してあり，これを操作すると独自に定義したMIDI信号がPC内のTransVoxアプリケーションに送られ，変換音声に対するオクターブシフトのオンオフ，ボリューム，リバーブの量を変化させることができる．
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード
