演習問題 2.14

演習2.14の解答です。

ある多次元変数 ${\bf x}$ のエントロピー $H[{\bf x}]$ を最大化するような分布 $p({\bf x})$ は多変量ガウス分布になりますよ、という問題。
演習1.34の多変量版になります。

基本は演習1.34と同様に解いていくのですが、多変量になることで、ラグランジュの式が多少ややこしくなります。
特に、分散条件(2.282)のラグランジュ乗数は $D \times D$ 次元のラグランジュ乗数行列 $\bm{\Lambda}$ になり、Traceを用いて簡潔に記述できます。

解答中に詳しく解説しましたので、ご確認ください。

prml exercise solution 2.14

引用する場合は出典を明記ください。

『演習問題 2.14』へのコメント

名前:岡田哲男投稿日：2018/08/19(日) 00:57:29 ID：013ca7191 返信

いつも参考にさせていただいております。
2.14の末尾から6行目、「右辺」のexpの指数部内のΣはΣ^(-1)で、そのため
Λ=-(1/2)*Σ^(-1)
ではないでしょうか。