解説 新たな情報量による情報理論の再定式化

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.103 No.12 (2020/12) 目次へ

前の記事へ次の記事へ


 解説 

新たな情報量による情報理論の再定式化

Reformulation of Information Theory by New Information Measures

植松友彦

植松友彦 正員:フェロー 東京工業大学工学院情報通信系

Tomohiko UYEMATSU, Fellow (School of Engineering, Tokyo Institute of Technology, Tokyo, 152-8550 Japan).

電子情報通信学会誌 Vol.103 No.12 pp.1228-1233 2020年12月

©電子情報通信学会2020

A bstract

 HanとVerdúは,情報スペクトルと呼ばれる情報量の尺度を用いることで,最も一般的な情報理論が統一的に展開できることを示した.その後,Rennerや筆者のグループは,smoothエントロピーやsmooth Rényiダイバージェンスによる情報理論の各種問題の再定式化について検討を行い,情報スペクトルの代わりにこれらの尺度を用いても最も一般的な情報理論の統一的な取扱いができることを明らかにした.本稿では,情報理論の各種問題のsmoothエントロピーやsmooth Rényiダイバージェンスによる再定式化について述べ,情報理論の各種問題のこれらの尺度を用いた統一的な取扱いについて解説する.

キーワード:smoothエントロピー,smooth Rényiダイバージェンス,情報源符号化定理,通信路符号化定理

1.ま え が き

 HanとVerdúは,非定常性あるいは非エルゴード性を許した最も一般的な情報源と通信路に対する情報理論を確立し,新たな情報理論の礎を築いた(1),(2).後に,Hanは情報スペクトルの理論(3)と呼ばれる極めて一般的な情報理論の体系を作り,一般情報源や一般通信路に対する符号化問題を統一的に取り扱えることを明らかにした.

 2000年代に入ってから,RennarとWolf(4)はRényiエントロピーを一般化したsmooth最大エントロピーを導入し,固定長符号化のmath-最小許容符号化レートがsmooth最大エントロピーによっても表せることを示した.更に,Wangら(5)は一般通信路の通信路符号化問題について考察し,次数零のRéyniダイバージェンスを一般化したsmooth最小Rényiダイバージェンスを用いて通信路符号化定理の再定式化を行った.

 筆者らもまた,一般情報源の固定長符号化定理(6),resolvability(7),並びにintrinsic randomness(8)が,smooth最大エントロピーやsmooth最小エントロピーによって再定式化できることを示し,これらの問題を統一的に取り扱う手法を提案してきた.また,smooth最大Rényiダイバージェンスにも着目し,レート・ひずみ理論をこれらの尺度を用いて統一的に取り扱う方法についても考察してきた(9)

 本稿では,今までにRennerや筆者のグループによって得られた,情報理論の各種問題の再定式化について述べるとともに,smoothエントロピーやsmooth Rényiダイバージェンスを尺度とした統一的な取扱いについて解説する.更に,これらの尺度が情報理論において,なぜ本質的な役割を果たすのかについても考察し,これらの尺度が符号化逆定理と密接に関係していることを解説する.

2.新たな情報量の定義

 有限あるいは可算無限集合をmathによって表し,math上の確率分布の集合をmathによって表す.また対数の底をmathとする.

 まず,smooth最大エントロピーとsmooth最小エントロピーの定義を述べる.

 定義1(4) 任意のmathに対し,math上の確率分布mathのsmooth最大エントロピーmath並びにsmooth最小エントロピーmathは,


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録

  

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。