20190612——吴恩达机器学习 多变量线性回归
以前我们学习的都是单变量，假如房屋的面积对应的价格为多对一的变量。
接下来我们要学习的是，多变量线性回归，也就是说有多个变量会一起影响这个结果y
n代表特征值的数量，m代表样本的数量
为了简化这个，令X0的值为1
以前我们有n个特征向量，现在有n+1个特征值了。
关于多变量的线性回归的推导。
多变量的线性回归的问题的代价函数的梯度下降
特征缩放
会更好的让图像清晰。
这样用梯度下降的方法，会很快的收敛。
一般将特征值的取值约束在-1到+1的范围内
平均值 标准差
特征缩放的目的就是让梯度下降算法运行的更快一点。
学习率
y轴为代价函数的值
x轴为梯度下降的次数
显而易见， 次数越大，代价函数的值越来越小
如果梯度下降之后，这个值小于10的负三次幂，那么就判断这个值几乎收敛。
学习率太大，导致代价函数没有正常工作，代价函数的值越来越大。
一元线性回归的回归方程是直线，多元线性回归的回归方程是平面或者超平面。
正规方程
之前我们都使用梯度下降方法来使代价函数变得越来越小
使用正规方程，我们可以一步来求解。
二次函数求最小值的时候，都是通过求导来判断最小值。所以我们假想这个代价函数是一个二次函数，那么对其求导，然后导数为0得到θ的值，这样就是代价函数的最小值了。
根据样本来构建一个系数矩阵
梯度下降的缺点是需要选择学习率，并且需要很多次数的迭代
正规方程需要计算一个n*n的矩阵，这个时间的复杂度是O（n的三次幂）
所以以n=10000来计算，大于的时候使用梯度下降法，虽然需要迭代很多的次数，但是相比正规方程要快的很多，小于10000的时候使用正规方程会更快一点。
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。