演習問題 1.33

演習 1.33の解答です。

2つの離散確率変数 xy の条件付きエントロピー H[y|x] が0のとき、ある x_j に対する y_iの条件付き確率 p(y_i|x_j) の値は、1つの y_iの時だけ1、それ以外の y_i では全て0になることを示せ、という問題です。
後半部分を言い換えると、x=x_j を観測していれば、確率1で y=y_i であることが分かる、ということになりますね。

x の値をすでに知っていて、さらに y を特定する為に必要な追加の情報量が、条件付きエントロピー H[y|x] であったことを思い出してください。
x_j の時に確率1で y_i が特定されれば、条件付きエントロピーが0になるのは意味的に当然です。

「条件付きエントロピー H[y|x] が0である」=「x の値を観測すれば y の値も特定できる」ということを理解しておいてください。

prml exercise solution 1.33