演習 1.33の解答です。
2つの離散確率変数 と
の条件付きエントロピー
が0のとき、ある
に対する
の条件付き確率
の値は、1つの
の時だけ1、それ以外の
では全て0になることを示せ、という問題です。
後半部分を言い換えると、 を観測していれば、確率1で
であることが分かる、ということになりますね。
の値をすでに知っていて、さらに
を特定する為に必要な追加の情報量が、条件付きエントロピー
であったことを思い出してください。
の時に確率1で
が特定されれば、条件付きエントロピーが0になるのは意味的に当然です。
「条件付きエントロピー が0である」=「
の値を観測すれば
の値も特定できる」ということを理解しておいてください。

prml exercise solution 1.33