演習問題 2.14

演習2.14の解答です。

ある多次元変数 {\bf x} のエントロピー H[{\bf x}] を最大化するような分布 p({\bf x}) は多変量ガウス分布になりますよ、という問題。
演習1.34の多変量版になります。

基本は演習1.34と同様に解いていくのですが、多変量になることで、ラグランジュの式が多少ややこしくなります。
特に、分散条件(2.282)のラグランジュ乗数は D \times D 次元のラグランジュ乗数行列 \bm{\Lambda} になり、Traceを用いて簡潔に記述できます。

解答中に詳しく解説しましたので、ご確認ください。

prml exercise solution 2.14

引用する場合は出典を明記ください。

『演習問題 2.14』へのコメント

  1. 名前:岡田哲男 投稿日:2018/08/19(日) 00:57:29 ID:013ca7191 返信

    いつも参考にさせていただいております。
    2.14の末尾から6行目、「右辺」のexpの指数部内のΣはΣ^(-1)で、そのため
    Λ=-(1/2)*Σ^(-1)
    ではないでしょうか。