バイアス誤差の二乗平均を任意の値に制約する条件下で平均二乗誤差を最小化するエントロピー推定量

摘要

エントロピー推定は，様々な分野で有用な解析法として用いられている．一般に，離散的な記号を出力する独立生起情報源に対するエントロピーの推定は，各記号の生起確率の最ゆう推定値をエントロピー関数に代入することにより行われる．しかし，こうした推定量は，平均二乗誤差の最小性や不偏性をもたないことが示されている．更に，Paninskiは，エントロピー推定においては，バイアス誤差と推定分散がトレードオフに制約されることを指摘した．本論文では，バイアス誤差の二乗平均と平均二乗誤差のトレードオフを最適に制御可能なエントロピー推定量を提案する．具体的には，エントロピー推定量が1変数関数の和で表されることを仮定し，バイアス誤差の二乗平均を任意の値に制約する条件下で平均二乗誤差を最小にするように導出される．提案法の推定精度と従来法の推定精度を比較した結果，提案法は，これら二つの誤差のトレードオフを制御することにより，従来法よりも高い推定精度が得られることが示された．