机器学习算法中的SVM推导

支持向量机

Posted by Mark on July 16, 2018

支持向量机SVM

SMO

基于最大间隔分隔数据

优点:泛化错误率低 计算开销不大 结果易解释。
缺点:对参数调节和核函数的选择敏感 原始分类器不加修改仅适用于处理二类问题。

数据点都在二维平面上 所以此时分隔超平面就只是一条直线。
但是 如果所给的数据集是三维的 那么此时用来分隔数据的就是一个平面。
显而易见 更高维的情况可以依此类推。
如果数据集是1024维的 那么就需要一个1023维的某某对象来对数据进行分隔。
这个1023维的某某对象到底应该叫什么? N-1维呢?该对家被称为超平面 (hyperplane), 也就是分类的决策边界。
分布在超平面一侧的所有数据都属于某个类别 而分布在另一侧的所有数据则属于另一个类别。

我们希望找到离分隔超平面最近的点 确保它们离分隔面的距离尽可能远。这里点到分隔面的距离被称为间隔(margin)。
支持向量 (support vector) 就是离分隔超平面最近的那些点。
接下来要试着最大化支持向量到分隔面的距离 需要找到此问题的优化求解方法。

寻找最大间隔

SVM公式推导