第1章-序論 | PRML演習問題全問解答

演習問題 1.41

演習 1.41の解答です。相互情報量はエントロピーの差で表現できます。易しい問題。これで一章の問題は全て終わりですね...

演習 1.40の解答です。算術平均(相加平均:arithmetic mean)と相乗平均(幾何平均:geometric mean...

演習 1.38の解答です。イェンセンの不等式を帰納法で示す問題。示すのは簡単ですが、結果は重要で、よく使います。 ...

演習 1.37の解答です。 $x$ と $y$ の同時エントロピー $H(x,y)$ が $x$ のエントロピー $H(x)$ と...

演習 1.36の解答です。凸関数の条件（弦が関数の上にある）を示す式(1.114)を、関数の2階微分が正である、という条件から求...

演習 1.35の解答です。ガウス分布のエントロピーを求める問題。予想通り、分散が大ならエントロピーも大になります。 ...

演習 1.34の解答です。ある変数 $x$ のエントロピー $\rm{H}$ を最大化するような分布 $p(x)$ はガウス分布...

演習 1.33の解答です。２つの離散確率変数 $x$ と $y$ の条件付きエントロピー $H$ が0のとき、ある $x_j$ ...

演習 1.32の解答です。エントロピーの変数を線形変換する問題です。確率密度関数の変換と、重積分の変換の2つが必要になります...

演習 1.31の解答です。エントロピーの基本性質を導く問題です。問題を変形すると相互情報量の式になり、相互情報量が同時分布 ...