人工智能中文网
  • 主页
  • 线代考研视频
  • 线性代数
  • Python机器学习与算法
  • 大数据与机器学习
  • Python基础入门教程
  • 人工智能中文网
    教程目录
    阅读:

    Softmax回归与Logistic回归算法的关系

    在 Softmax Regression 中存在着参数冗余的问题。简单来讲就是参数中有些参数是没有任何用的,为了证明这点,假设从参数向量 θj 中减去向量 ψ,假设函数为:


     
    从上面可以看出从参数向量 θj 中减去向量 ψ 对预测结果并没有任何影响,也就是说在模型中,存在着多组的最优解。

    由Softmax Regression到Logistic Regression

    Logistic Regression 算法是 Softmax Regression 的特征情况,即 k=2 时的情况,当 k=2 时,Softmax Regression 算法的假设函数为:


    利用 Softmax Regression 参数冗余的特点,令 ψ=θ1 ,从两个向量中都减去这个向量,得到:


    在 Logistic Regression 算法中,假设函数为:


    由上述的 k=2 时的 Softmax Regression 的假设函数和 Logistic Regression 的假设函数可知,两者是等价的。