Machine Learning笔记——多变量线性回归

  • 时间:
  • 浏览:1
  • 来源:uu快3app赚钱_uu快3大小计划注册

使用梯度下降法来处理多元线性回归问提



执行偏导数以后 如下:



梯度下降法的应用实例——行态缩放的方法

行态缩放前后,相对应的代价函数的图形也会随之不同。



一般地,当亲们 执行行态缩放的以后 ,通常的目的是:将行态的取值约束到-1到+1的范围内。行态x_0总爱 等于1,也总爱 在此范围之内,但对于其他的行态而言,都不能通过其他的分数使得它处于同一范围内,行态的值要控制在非常小的范围内。因此没人 太小,只是能没人来越多。



不让过于担心行态是算不算在完整相同的范围因此是区间内,因此倘若它们之间足够接近一段话,梯度下降法就会正常地运行。

Reference:

使用octave程序写控制一段话

累似

在以后 的单变量线性回归问提中,亲们 是通过房屋的大小来作为预测房屋价格。因此亲们 知道了所以其他的变量,累似 卧室的数量,楼层的数量,房子的年龄等。



没人 以后 的假设函数就会不再以后 的函数表达式,取而代之的是:



下面是重新该写后的假设函数的形式:



为了僵化 方便,涉及初始的x_0=1,



以上只是多元线性回归。多元——使用多个行态值因此是变量来预测Y的值。

多项式回归的问提

累似 :亲们 有如下图所示预测房子的价格的数据集,因此会有多个不同的模型用于拟合。选折 之一只是二次模型,因此直线似乎不让说能很好地去拟合那此数据。然而二次函数最终会下降,为了不能拟合数据集的变化,会继续使用三次方的函数,从前 子就不让下降。



对于从前 子的多元线性回归,做一下简单的修改来实现:



因此除了三次函数的拟合之外,采用二次函数,亲们 不希望说因此房子的面积的增加而原因分析房子的价格还下降。所以就都不能使用



因此根式的图像是上升的,最后趋于平缓情况表,也是都不能拟合所给的数据集。

累似 :使用magic函数

A=magic(5)

imagesc(A)

再次绘制了正切函数以后 的图像如图所示:

使用了正规方程,从前 们直接不让行态缩放的方法。

至于那此以后 正规方程和行态缩放呢?都不能根据以下优缺点来判断:

假设亲们 有m个训练样本,n个行态变量



使用octave绘制正余弦曲线图:



使用octave的示例代码如下:

除了将行态除以最大值以外,在行态缩放中,会使用行态均一化的操作。

继续拿预测房价为例,除了以后 的行态之外,还有其他新的行态值



对于α而言,不同的数值造成的图形行态也是不一样的。累似

当α很小的以后 ,亲们 都不能都看曲线达到一定的迭代次数以后 就收敛,因此说找到另有2个 为宜的阈值ε也是很困难的,为了检查梯度下降算法是算不算收敛,都不能从图中直接看得出收敛。而都有依靠自动收敛测试。



一般来说,亲们 都不能从图形中直接都不能看得出算法有没人 正常地运行。累似 :α过大,就会出先以下的图形:



总结:

因此α太小一段话,就会遇到收敛效率没人来越快的问提,因此α没人来越多一段话,代价函数T(θ)因此不让在每次迭代都下降。甚至因此会不收敛。也会有其他情况表,只是因此学习率α过大,都有因此会出先收敛缓慢,因此代价函数T(θ)不让说会在每次迭代以后 都下降。因此通常情况表下,通常绘制T(θ)随迭代步数变化的曲线。

正规方程

对于其他线性回归问提,会给亲们 更好的方法去得到未知参数θ的最优解。

在以后 优质使用的方法——梯度下降法中,为了得到最小化代价函数T(θ),会使用迭代算法。通过梯度下降的多次迭代来收敛到全局最小值。

实例:



累似 :假设亲们 有2个训练样本,这2个训练样本只是所有的数据。亲们 所要做的是在数据集中,加入一列来对应额外的行态变量x_0,取值永远都有1。

接下来只是构建另有2个 矩阵X(m*(n+1)维矩阵),矩阵X包括了训练样本中的所有数据,也构建另有2个 向量y(m维向量)。其中m是训练样本数量,n和n+1是行态变量数



在一般情况表下,假设亲们 有m个训练样本。其中的X称为设计矩阵(designed Matrix)



为了不能明白下列式子,作了具体的说明:



在Octave因此是MATLAB中,具体的实现方法如下:

Pinv(X’X)X’*y