演習問題 2.43

演習2.43の解答です。

一般化ガウス分布（一般化正規分布）(2.293)について、分布が正規化されていることと、指数パラメータ $q=2$ のときこれがガウス分布に一致することを示す問題。
さらに、回帰問題において、ノイズが一般化ガウス分布に従うなら、その分布パラメータ $\sigma^2$ に関する対数尤度関数が(2.295)になることを示します。

(2.295)を、パラメータ ${\bf w}$ についての式と見れば、1.5.5節の $L_q$ 損失(ミンコフスキー損失)と同値になります。

1.2.5節にあるように、回帰において、二乗損失( $L_2$ 損失)の総和を最小化するパラメータ ${\bf w}$ を求める（＝最小二乗法）ことと、データのノイズにガウス分布を仮定して最尤推定によりパラメータ ${\bf w}$ を求めることとは、 ${\bf w}$ を決定する意味では結果的に同じになりました。

これと同様に、回帰問題において、 $L_q$ 損失を最小化することと、ノイズに一般化ガウス分布を仮定して最尤推定することとは、 ${\bf w}$ を決定する意味においては同じ事になります。

prml exercise solution 2.43