如何训练模型
找到给定模型的最佳参数(本章中以线性回归模型为例)
利用公式求解
直接利用公式求解,找到最小化损失函数的$\theta$值
$MSE=\Vert{X\bullet\theta-y}\Vert_2$
- 通过解正态方程
$\hat{\theta}=(X^{T}X)^{-1}X^Ty$
$\hat{\theta}$是$\theta$最小值。
- 验证$\theta$正确性
- 首先,生成一些近似线性的数据
- 利用正态方程来计算最佳参数$\hat\theta$
X_b = np.c_[np.oones((100, 1)),X]
theta_best = np.linalg.inv(X_b.T.dot(X_B)).dot(X_b.T).dot(y)
对比发现,计算出来的最佳参数,非常接近原来的参数;由于存在噪声,计算得到的最佳参数不可能达到原来的值。
利用Scikit-Learn代码可以达到相同的效果。
Q.E.D.