演習問題 1.33

2017/8/2 第1章-序論

演習 1.33の解答です。

２つの離散確率変数 $x$ と $y$ の条件付きエントロピー $H[y|x]$ が0のとき、ある $x_j$ に対する $y_i$ の条件付き確率 $p(y_i|x_j)$ の値は、１つの $y_i$ の時だけ１、それ以外の $y_i$ では全て0になることを示せ、という問題です。
後半部分を言い換えると、 $x=x_j$ を観測していれば、確率1で $y=y_i$ であることが分かる、ということになりますね。

$x$ の値をすでに知っていて、さらに $y$ を特定する為に必要な追加の情報量が、条件付きエントロピー $H[y|x]$ であったことを思い出してください。
$x_j$ の時に確率1で $y_i$ が特定されれば、条件付きエントロピーが0になるのは意味的に当然です。

「条件付きエントロピー $H[y|x]$ が0である」=「 $x$ の値を観測すれば $y$ の値も特定できる」ということを理解しておいてください。

prml exercise solution 1.33

関連記事