演習問題 3.2

演習3.2の解答です。

最小二乗法の幾何学的解釈を実際に計算する問題。

最小二乗法を解くことが、目標値を並べた $N$ 次元のベクトル ${\bf f}$ を、計画行列 ${\bm \Phi}$ の $M$ 本の列ベクトル ${\bm \varphi}_j$ で貼られる $M$ 次元部分空間 $\mathcal{S}$ へと正射影することに相当することを確認します。

${\bm \varphi}_j = (\phi_j({\bf x}_1), \dots, \phi_j({\bf x}_N))^\mathrm{T}$ であり、ベクトルの次数は $N$ 次元ですが、 $M(<N)$ 本しかないため、部分空間を構成します。

prml exercise solution 3.2