演習問題 1.34

演習 1.34の解答です。

ある変数 $x$ のエントロピー $\rm{H}[x]$ を最大化するような分布 $p(x)$ はガウス分布になりますよ、という問題。

分布 $p(x)$ の平均と分散はそれぞれ $\mu$ と $\sigma^2$ で指定されるという条件です。その条件はラグランジュ乗数で表現できます。

関数についての最大化問題なので変分法を用います。
しかし、変分法により $p(x)$ が指数の形の分布(1.108)であることまでは簡単に分かりますが、その後(1.105)(1.106)(1.107)の条件からラグランジュ乗数をもとめるのが難しいです。

どうすればいいかというと、もうこれはガウス分布だと仮定して、ラグランジュ乗数をそれらしく決めてしまいます。
そうして決めた $p(x)$ を条件式（1.105)(1.106)(1.107)に代入するとちゃんと答えが合いますよね、とやります。
そりゃ、合いますよね。

もし、真っ当にやるのであれば、(1.106)の条件を除いたラグランジュの式を立て、出た結果を(1.105)(1.107)に順に代入してラグランジュ乗数を求めるやり方が一般的です。
こちらの記事　を参考にしてください。

prml exercise solution 1.34