演習問題 1.34

演習 1.34の解答です。

ある変数 x のエントロピー \rm{H}[x] を最大化するような分布 p(x) はガウス分布になりますよ、という問題。

分布 p(x) の平均と分散はそれぞれ \mu\sigma^2 で指定されるという条件です。その条件はラグランジュ乗数で表現できます。

関数についての最大化問題なので変分法を用います。
しかし、変分法によりp(x) が指数の形の分布(1.108)であることまでは簡単に分かりますが、その後(1.105)(1.106)(1.107)の条件からラグランジュ乗数をもとめるのが難しいです。

どうすればいいかというと、もうこれはガウス分布だと仮定して、ラグランジュ乗数をそれらしく決めてしまいます。
そうして決めた p(x) を条件式(1.105)(1.106)(1.107)に代入するとちゃんと答えが合いますよね、とやります。
そりゃ、合いますよね。

もし、真っ当にやるのであれば、(1.106)の条件を除いたラグランジュの式を立て、出た結果を(1.105)(1.107)に順に代入してラグランジュ乗数を求めるやり方が一般的です。
こちらの記事 を参考にしてください。

prml exercise solution 1.34