演習 1.31の解答です。
エントロピーの基本性質を導く問題です。
問題を変形すると相互情報量の式になり、相互情報量が同時分布 と周辺分布の積
のKLダイバージェンスであることから、正の値であることがわかります。

prml exercise solution 1.31
機械学習の教科書の決定版【パターン認識と機械学習】の演習問題の全てを詳しく解答・解説
演習 1.31の解答です。
エントロピーの基本性質を導く問題です。
問題を変形すると相互情報量の式になり、相互情報量が同時分布 と周辺分布の積
のKLダイバージェンスであることから、正の値であることがわかります。
prml exercise solution 1.31