人工智能中文网
  • 主页
  • 线代考研视频
  • 线性代数
  • Python机器学习与算法
  • 大数据与机器学习
  • Python基础入门教程
  • 人工智能中文网
    教程目录
    阅读:

    线性回归模型详解(含计算公式)

    < 上一篇:没有了 下一篇:最小二乘法(线性回归) >
    对于线性回归算法,我们希望从训练数据中学习到线性回归方程,即:


    其中,b 称为偏置,wi回归系数。对于上式,令 x0 =1,则上式可以表示为:


    假设小麦的产量 y 与施肥量 x 之间的关系如表 1 所示。

    表 1 小麦产量 y 与施肥量 x 之间的关系
    施肥量 15 20 25 30 35 40 45
    小麦产量 330 345 365 405 445 450 455

    对于回归方程,需要从数据中学习到相应的回归系数 wi ,表 1 中小麦产量 y 与施肥量 x 之间的关系如图 1 所示。


    图 1 产量与施肥量之间的关系

    线性回归模型的损失函数

    在线性回归模型中,其目标是求出线性回归方程,即求出线性回归方程中的回归系数 wi。线性回归的评价是指如何度量预测值(Prediction)与标签(Label)之间的接近程序,线性回归模型的损失函数可以是绝对损失(Absolute Loss)或者平方损失(Squared Loss)。其中,绝对损失函数为:


    上式中的减数为预测值,且该值为:


     
    平方损失函数为:


    由于平方损失处处可导,通常使用平方误差作为线性回归模型的损失函数。假设有 m 个训练样本,每个样本中有 n-1 个特征,则平方误差可以表示为:


    对于如上的损失函数,线性回归的求解是希望求得平方误差的最小值。
    < 上一篇:没有了 下一篇:最小二乘法(线性回归) >