演習問題 3.2

演習3.2の解答です。

最小二乗法の幾何学的解釈を実際に計算する問題。

最小二乗法を解くことが、目標値を並べた N 次元のベクトル {\bf f} を、計画行列 {\bm \Phi}M本の列ベクトル {\bm \varphi}_j で貼られるM次元部分空間 \mathcal{S} へと正射影することに相当することを確認します。

{\bm \varphi}_j = (\phi_j({\bf x}_1), \dots, \phi_j({\bf x}_N))^\mathrm{T} であり、ベクトルの次数は N 次元ですが、M(<N) 本しかないため、部分空間を構成します。

prml exercise solution 3.2