更多技术博客 http://vilins.top/问题的引入我们通过调查得出若干房子的面积大小与其价格的数据给出一个房子面积的数据对其房价进行预问题分析这个问题是典型的数据挖掘的问题通过对数据的分析得出规律然后利用规律对一些未知的数据的结果进行预测又由于它只有房子面积大小这一个数据特征所以又叫做一个变量的线性回归问题问题的解决模型如下图问题的解决根据数据的特征我们假设模型为我们的目标是使得样本数据离我们得出的模型越近越好所以我们的目标是使得损失函数最小公式说明其实这个公式与方差的定义非常相似但前面加了一个1/2原因是为了方便求导。最后我们的问题简化为接下来就是两个参数的确定了我们采用梯度下降的方法来对模型进行训练。回想高等数学求极小值的方法通过对函数求导取极小值梯度下降也是这个原理整个过程是初始化两个参数。通过梯度下降更新两个参数更新的标准是使得损失函数的值变小。满足我们设定的条件则终止。这里需要注意的是两个参数的更新都是用的上一轮训练得到的两个参数。最后得到的效果应该是这样的整体理解了这个模型以后我们探讨一下参数alpha的设置这个参数是学习率这个学习率一般很小0.001-0.1为什么要对这个参数进行设置已经他的几何意义是什么首先我们看一下两张图学习率较大学习率较小从上面我们可以看出在学习率大的时候参数梯度下降的幅度很大也就是说模型收敛得很快但在接近极值点的时候可能错过而学习率小的时候参数下降的梯度较小模型收敛的速度慢但取得的结果一般比较好。基于两种特点我们可以选择先选择大学习率进行训练达到一定的迭代次数后动态减少学习率。过程推导如下最后需要在程序实现的过程就是更多技术博客 http://vilins.top/