電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
新たな情報量による情報理論の再定式化
Reformulation of Information Theory by New Information Measures
A bstract
HanとVerdúは,情報スペクトルと呼ばれる情報量の尺度を用いることで,最も一般的な情報理論が統一的に展開できることを示した.その後,Rennerや筆者のグループは,smoothエントロピーやsmooth Rényiダイバージェンスによる情報理論の各種問題の再定式化について検討を行い,情報スペクトルの代わりにこれらの尺度を用いても最も一般的な情報理論の統一的な取扱いができることを明らかにした.本稿では,情報理論の各種問題のsmoothエントロピーやsmooth Rényiダイバージェンスによる再定式化について述べ,情報理論の各種問題のこれらの尺度を用いた統一的な取扱いについて解説する.
キーワード:smoothエントロピー,smooth Rényiダイバージェンス,情報源符号化定理,通信路符号化定理
HanとVerdúは,非定常性あるいは非エルゴード性を許した最も一般的な情報源と通信路に対する情報理論を確立し,新たな情報理論の礎を築いた(1),(2).後に,Hanは情報スペクトルの理論(3)と呼ばれる極めて一般的な情報理論の体系を作り,一般情報源や一般通信路に対する符号化問題を統一的に取り扱えることを明らかにした.
2000年代に入ってから,RennarとWolf(4)はRényiエントロピーを一般化したsmooth最大エントロピーを導入し,固定長符号化の-最小許容符号化レートがsmooth最大エントロピーによっても表せることを示した.更に,Wangら(5)は一般通信路の通信路符号化問題について考察し,次数零のRéyniダイバージェンスを一般化したsmooth最小Rényiダイバージェンスを用いて通信路符号化定理の再定式化を行った.
筆者らもまた,一般情報源の固定長符号化定理(6),resolvability(7),並びにintrinsic randomness(8)が,smooth最大エントロピーやsmooth最小エントロピーによって再定式化できることを示し,これらの問題を統一的に取り扱う手法を提案してきた.また,smooth最大Rényiダイバージェンスにも着目し,レート・ひずみ理論をこれらの尺度を用いて統一的に取り扱う方法についても考察してきた(9).
本稿では,今までにRennerや筆者のグループによって得られた,情報理論の各種問題の再定式化について述べるとともに,smoothエントロピーやsmooth Rényiダイバージェンスを尺度とした統一的な取扱いについて解説する.更に,これらの尺度が情報理論において,なぜ本質的な役割を果たすのかについても考察し,これらの尺度が符号化逆定理と密接に関係していることを解説する.
有限あるいは可算無限集合をによって表し,上の確率分布の集合をによって表す.また対数の底をとする.
まず,smooth最大エントロピーとsmooth最小エントロピーの定義を述べる.
定義1(4) 任意のに対し,上の確率分布のsmooth最大エントロピー並びにsmooth最小エントロピーは,
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード