演習問題 1.28

演習 1.28の解答です。

情報理論の問題となります。
情報の性質、つまり
「2つの無関係な出来事 $x,y$ の情報は $x$ の情報と $y$ の情報の和になる」
を満たすような $h(x)$ の形は $p(x)$ の対数以外にはありえない、ということを証明します。

prml exercise solution 1.28