演習問題 1.20

演習 1.20の解答です。

高次元のガウス分布の性質を調べる問題。重要です。

ガウス分布は当然、中心(平均値)で確率密度が最大になるのですが、
高次元では、その中心付近の体積自体が非常に小さくなってしまうので、中心付近にデータはほとんど分布しません。
確率密度は高いが、そこでは体積がほぼ無いのです。

それを確かめるために、ガウス分布を極座標に変換し、中心からの距離 r での確率分布 p(r) に直します。
極座標へ変換し、距離 r のみの分布を得るためには、角度方向(\bm{\theta} 方向)への一周分の積分を施す必要がありますが、その計算を簡単に行うために、演習1.18で計算した単位超球の表面積を用います。
そうして得た p(r)r で微分し停留点を求めると、中心からの距離が \hat{r}=\sqrt{D}\sigma の付近でその分布が最大になることが分かります。

prml exercise solution 1.20

『演習問題 1.20』へのコメント

  1. 名前:chenyiming 投稿日:2018/10/01(月) 16:13:14 ID:b4405fb6e 返信

    Firstly, I want to thank you for building this amazing website to answer the exercise in PRML. But there is a little mistake in the process of the certification of the exercise 1.20, at the second question, the coefficient should be -3/2, not -1/2. If you use the -1/2, actually, the right of the equation would not be exp(0).