演習問題 2.43

演習2.43の解答です。

一般化ガウス分布(一般化正規分布)(2.293)について、分布が正規化されていることと、指数パラメータ q=2 のときこれがガウス分布に一致することを示す問題。
さらに、回帰問題において、ノイズが一般化ガウス分布に従うなら、その分布パラメータ \sigma^2 に関する対数尤度関数が(2.295)になることを示します。

(2.295)を、パラメータ {\bf w} についての式と見れば、1.5.5節の L_q 損失(ミンコフスキー損失)と同値になります。

1.2.5節にあるように、回帰において、二乗損失(L_2損失)の総和を最小化するパラメータ {\bf w} を求める(=最小二乗法)ことと、データのノイズにガウス分布を仮定して最尤推定によりパラメータ {\bf w}を求めることとは、{\bf w} を決定する意味では結果的に同じになりました。

これと同様に、回帰問題において、L_q損失を最小化することと、ノイズに一般化ガウス分布を仮定して最尤推定することとは、{\bf w} を決定する意味においては同じ事になります。

prml exercise solution 2.43