人工智能中文网
  • 主页
  • 线代考研视频
  • 线性代数
  • Python机器学习与算法
  • 大数据与机器学习
  • Python基础入门教程
  • 人工智能中文网
    教程目录
    阅读:

    函数间隔和几何间隔(详解版)

    < 上一篇:感知机算法 下一篇:支持向量机算法 >
    一般来讲,一个样本点距离分隔超平面的远近可以表示分类预测的确信程度。


    图 1

    在图 1 中,样本点 A 离分隔超平面最远,若预测其为正类,就比较确信该预测是正确的;而样本点 C 离分隔超平面较近,若预测其为正类,就不是那么确信。

    为了能够表示分类预测的确信程度,我们分别定义函数间隔几何间隔

    函数间隔

    在感知机算法中,我们注意到分隔超平面 W·X+b 确定的情况下,|W·X(i)+b| 可以相对地表示样本点 X(i) 距离分隔超平面的远近。而当预测值 W·X(i)+b 和样本标签 y(i) 同号时,表明最终的分类是正确的。因此,可以使用 y(i)(W·X(i)+b) 来表示分类的正确性和确信度,这便是函数间隔的定义。

    对于给定的训练数据集 {(X(1),y(1)),(X(2),y(2)),…,(X(m),y(m))} 和分隔超平面,定义分隔超平面关于样本点 (X(i),y(i)) 的函数间隔为:


    同时,定义分隔超平面关于训练数据集的函数间隔为分隔超平面关于训练数据集中所有样本点的函数间隔的最小值:


    函数间隔可以表示分类预测的正确性和确定性。但是,在分隔超平面中,如果其参数 W 和 b 同时扩大为原来的 2 倍,这对于分隔超平面来说,并没有任何改变,但是对于函数间隔来说,即扩大为原来的 2 倍。为了解决这样的问题,我们引入几何间隔。

    几何间隔

    为了能够使得间隔是一个确定的值,可以对分隔超平面的参数 W 加上某些约束,

    如归一化 ||W||=1。


    图 2

    在图 2 中,对于样本 X(i),其到分隔超平面之间的距离 S 为:


    而当 W·X(i)+b 与 y(i) 同号时,表示预测正确,则样本 X(i) 到分隔超平面之间的距离 S 可以表示为:


     
    这便是几何间隔的定义。

    对于给定的训练数据集 {(X(1),y(1)),(X(2),y(2)),…,(X(m),y(m))} 和分隔超平面,定义分隔超平面关于样本点 (X(i),y(i)) 的几何间隔为:


    同时,定义分隔超平面关于训练数据集的几何间隔为分隔超平面关于训练数据集中所有样本点的几何间隔的最小值:


    从上面的定义不难发现,几何间隔其实就是样本到分隔超平面的距离。对于几何间隔和函数间隔,有如下的关系:

    < 上一篇:感知机算法 下一篇:支持向量机算法 >