演習問題 1.28

演習 1.28の解答です。

情報理論の問題となります。
情報の性質、つまり
「2つの無関係な出来事 x,y の情報は x の情報と y の情報の和になる」
を満たすような h(x) の形は p(x) の対数以外にはありえない、ということを証明します。

prml exercise solution 1.28