電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
最新の映像符号化規格H.266/VVC(以下VVC)は8K映像の効率的伝送を可能とするが,多様な映像に対応するにはいまだ大きな帯域が必要であり,また符号化装置の複雑度も高い.本特別小特集では,映像の高画質化に利用されている深層学習の最新の動向を説明しつつ,VVCを超える映像伝送の一つの方向性として,超解像とメタデータを利用する方式について説明する.また,当該メタデータ伝送に関する標準化動向についても解説する.
本稿では,2.でVVCを超える映像伝送の概略,3.で深層学習処理の標準化,4.で超解像と深層学習を組み合わせた提案方式の一例を述べ,5.でまとめる
図1は,映像規格と,従来映像技術,深層学習技術の進展についてタイムライン的に並べたものである.図に示すとおり,VVCを超える映像符号化技術(ポストVVC)の探索活動が既にISO/IECとITU-Tの共同プロジェクトであるJVET(Joint Video Experts Team)で開始されている.映像伝送に重要な映像符号化規格であるH.265/HEVC(以下HEVC,2013)とVVC(2020)の標準化の間に,深層学習のコア技術といえるImageNetコンペ優勝のAlexNet(2012)(1),残差接続ResNet(2015),アテンションSENet(2017)(2)のほか,敵対的生成ネットワークGAN(2014),U-Net(2015)(3),Transformer(2017)(4)が開発されている.
VVCの標準化でも,技術提案募集を含め深層学習技術は検討されたが,最終的には,深層学習技術と並行して開発された線形ベースの技術が採用されている.例えばA+(5)やRAISER(6)と相似した方向分割による適応ループフィルタGALF(7)や,深層学習フィルタで効果が証明されていた輝度と色差間のフィルタクロスコンポーネントALF(ccALF)(8),多層から1層まで計算量を落としたマトリックスイントラ予測MIPが採用されている.
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード