新たな情報量による情報理論の再定式化

摘要

HanとVerduは、情報スペクトルと呼ばれる情報量の尺度を用いることで、最も一般的な情報理論が統一的に展開できることを示した。その後、Rennerや著者のグループは、Smoothエントロピーやsmooth Renyiダイバージェンスによる情報理論の各種問題の再定式化について検討を行い、情報スペクトルの代わりにこれらの尺度を用いても最も一般的な情報理論の統一的な取り扱いができることを明らかにした。小文では、情報理論の各種問題のsmooth エントロピーやsmooth Renyiダイバージェンスによる再定式化について述べると共に、情報理論の各種問題のこれらの尺度を用いた統一的な取り扱いについて解説する。更に、これらの情報量の尺度がなぜ本質的な役割を果たすのかについても考察している。すなわち、Smooth最大エントロピーとsmooth最小エントロピーがそれぞれ固定長符号化問題やintrinsic randomness問題に関して本質的な操作的意味を有していること、ならびにsmooth最小Renyiダイバージェンスとsmooth最大Renyiダイバージェンスがそれぞれ通信路符号化問題やレート·歪み理論に関して本質的な操作的意味を有することを解説し、これらの尺度を用いることで符号化逆定理が容易に導けることを述べる。