演習 1.34の解答です。
ある変数 のエントロピー
を最大化するような分布
はガウス分布になりますよ、という問題。
分布 の平均と分散はそれぞれ
と
で指定されるという条件です。その条件はラグランジュ乗数で表現できます。
関数についての最大化問題なので変分法を用います。
しかし、変分法により が指数の形の分布(1.108)であることまでは簡単に分かりますが、その後(1.105)(1.106)(1.107)の条件からラグランジュ乗数をもとめるのが難しいです。
どうすればいいかというと、もうこれはガウス分布だと仮定して、ラグランジュ乗数をそれらしく決めてしまいます。
そうして決めた を条件式(1.105)(1.106)(1.107)に代入するとちゃんと答えが合いますよね、とやります。
そりゃ、合いますよね。
もし、真っ当にやるのであれば、(1.106)の条件を除いたラグランジュの式を立て、出た結果を(1.105)(1.107)に順に代入してラグランジュ乗数を求めるやり方が一般的です。
こちらの記事 を参考にしてください。