机器学习第二回总结——多变量线性回归

一.多特征量情况下的假设形式

对图片上的知识点进行剖析：x与θ都是向量，将x0设为1，便可以用θ的转置与x向量的内积来简单表示h(x)——>多元线性回归

二.如何设定假设的参数【使用梯度下降法来处理多元线性回归】

将θ和J(θ)都看作向量，重新定义我们上节课学习那几个概念。

梯度下降法的多元表达

其实与之前我们学的内容还是很相似的，每一次的更新过程依旧是独立的，在导数项中，重新定义了x变量的下标

三.梯度下降实例中的运算技巧

特征放缩：如果可以保证一个机器学习的问题的多个特征值处在一个相似的范围之内，可以使梯度下降法更快的收敛

这张对比图说明:当两个特征变量的取值范围相差很大时，画出的图像接近于椭圆，使用梯度下降法就很难得到目标最极小值；如果使用特征放缩的方法，即右侧所示，此时图像接近于圆，可以很快达到目标【-1<=xi<=1】(或者接近这个范围也是可以的)
均值归一化：xi的取值可以变为0

x1可以替换为（x1-u1）/s1
u1是训练集中x1的平均值，s1是x1 的取值范围：max-min
保证梯度下降正常工作：

此函数表示：梯度下降的每步迭代后代价函数的值【横坐标表示迭代次数，纵坐标表示代价函数的最小值，点的含义是经过x此迭代，代价函数的值，理论上此函数图像是单调递减的】
此图像的作用：帮助判断梯度下降算法是否收敛

在上面的两种情况下，都属于α过大，函数不会在每次迭代中都下降，我们都应该选择较小的学习率α来正确运行梯度下降算法，但α不应过小，否则函数下降的速率会很慢。
选择新的特征可以更好的描述我们想要讨论的问题
多项式线性回归：将模型与数据进行拟合

由于变量范围相差较大，所以应该使用特征放缩的方法进行拟合
不仅可以用三次函数来拟合此图像，也可使用平方根函数。

四.正规方程

类似于函数的解析式法求最小值：只需要令导数为0；如果多个变量，就依次令其偏导数为0

下面一个函数记住就好，可以直接帮我们获得θ的最小值，且不需要使用特征放缩的方法

对比两种方法的优缺点：（能看懂英文我就不翻译啦~）
当数据量较小时，选择正规方程解法，其余时刻一般都采用梯度下降算法。