演習2.43の解答です。
一般化ガウス分布(一般化正規分布)(2.293)について、分布が正規化されていることと、指数パラメータ のときこれがガウス分布に一致することを示す問題。
さらに、回帰問題において、ノイズが一般化ガウス分布に従うなら、その分布パラメータ に関する対数尤度関数が(2.295)になることを示します。
(2.295)を、パラメータ についての式と見れば、1.5.5節の
損失(ミンコフスキー損失)と同値になります。
1.2.5節にあるように、回帰において、二乗損失(損失)の総和を最小化するパラメータ
を求める(=最小二乗法)ことと、データのノイズにガウス分布を仮定して最尤推定によりパラメータ
を求めることとは、
を決定する意味では結果的に同じになりました。
これと同様に、回帰問題において、損失を最小化することと、ノイズに一般化ガウス分布を仮定して最尤推定することとは、
を決定する意味においては同じ事になります。