演習問題 1.31

演習 1.31の解答です。

エントロピーの基本性質を導く問題です。
問題を変形すると相互情報量の式になり、相互情報量が同時分布 $p(x,y)$ と周辺分布の積 $p(x)p(y)$ のKLダイバージェンスであることから、正の値であることがわかります。

prml exercise solution 1.31