如何训练模型

找到给定模型的最佳参数(本章中以线性回归模型为例)

利用公式求解

直接利用公式求解,找到最小化损失函数的$\theta$值
$MSE=\Vert{X\bullet\theta-y}\Vert_2$

  • 通过解正态方程
$\hat{\theta}=(X^{T}X)^{-1}X^Ty$

$\hat{\theta}$是$\theta$最小值。

  • 验证$\theta$正确性
  1. 首先,生成一些近似线性的数据
  2. 利用正态方程来计算最佳参数$\hat\theta$
X_b = np.c_[np.oones((100, 1)),X]
theta_best = np.linalg.inv(X_b.T.dot(X_B)).dot(X_b.T).dot(y)

对比发现,计算出来的最佳参数,非常接近原来的参数;由于存在噪声,计算得到的最佳参数不可能达到原来的值。
利用Scikit-Learn代码可以达到相同的效果。

Q.E.D.


南七技校练习时长四年的练习生