演習問題 1.31

演習 1.31の解答です。

エントロピーの基本性質を導く問題です。
問題を変形すると相互情報量の式になり、相互情報量が同時分布 p(x,y) と周辺分布の積 p(x)p(y) のKLダイバージェンスであることから、正の値であることがわかります。

prml exercise solution 1.31