机器学习第三课：多变量线性回归

说明：本文章来自本来对斯坦福大学机器学习视频教程的学习总结，如有侵权，请联系本人，立刻删除。

在单变量的回归模型，增加更多的特征，就构成了多变量的模型，模型中的特征为（x1,x2,.....,xn）

这个公式中有 n+1 个参数和 n 个变量，为了使得公式能够简化一些，引入 x0=1，则公式转化为：  

此时模型中的参数是一个 n+1 维的向量，任何一个训练实例也都是 n+1 维的向量，特征矩阵 X 的维度是 m*(n+1)。 因此公式可以简化为： ，其中上标 T 代表矩阵转置。

   

我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。 

梯度下降法实践 1-特征缩放 

我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。 以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。 

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图：

最简单的方法是令： 

梯度下降法实践 2-学习率 ：

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。 

也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如 0.001）进行比较，但通常看上面这样的图表更好。 
梯度下降算法的每次迭代受到学习率的影响，如果学习率 α 过小，则达到收敛所需的迭代次数会非常高；如果学习率 α 过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。 

通常可以考虑尝试些学习率： α=0.01，0.03，0.1，0.3，1，3，10

特征和多项式回归：

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令

从而将模型转化为线性回归模型。 

根据函数图形特性，我们还可以使： 

注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。