作为小白的我几乎零基础，看了几天的SVM，终于搞清楚了目标函数推导的细节，这里总结一下，避免遗忘，同时也分享给同样作为小白的你。

核心思路

SVM的核心思想其实十分朴素，简单讲就是划一条线将分属两类的样本分开达到分类的目的。 具体而言，对于线性可分问题，在样本所在的多维空间中找到一个超平面，使得不同类别的样本分属于这个超平面的两侧；对于线性不可分问题，采用核方法，将样本空间升维，把线性不可分问题转为线性可分问题，再在升维后的空间中找到那个分割样本的超平面。对于N维空间，过于抽象，受脑容量所限，画面太美，不可描述，可以在二维空间感性认识。 图中所示的三根线就是三个可以分类样本的超平面，很容易就能发现满足这一要求的超平面有无穷多个，而SVM的目标就是在这些中找到距离两类样本间隔最大的那个超平面。为了找到这个超平面，引入了支持向量的概念，即距离这个超平面最近的样本，下图(b)、（c）中穿过虚线的点就是支持向量，最终我们会发现影响学习结果的因素也正是这些样本，所以这一方法就被称为支持向量机(support vector machines, SVM)。 使用SVM找超平面的方法，就是找到一个超平面，使得两类样本与这个超平面之间的最小距离最大。 对于上面这一段话，绕口又晦涩，可以通过一些辅助理解上面这一表达，如下图，距离超平面最近的样本一定是经过与目标超平面平行的超平面的，图中的两条虚线分别了两个经过这两个样本的超平面，为了使得分类效果最好，可以平移目标超平面到中线位置。然而通过上图我们也发现，满足这一条件的超平面实际上有很多，旋转超平面可以得到不同的结果，而SVM则是在这些结果中找到间隔最大的那个超平面即可。用文字来表达总是无法做到精确和无二意，下面用数学语言描述这一方法，除去碍眼的数学符号，只要有一些基础的数学知识也能够理解。 总结一下SVM的本质其实就是找到将已标记类别的样本分开间隔最大的决策面，很显然这属于有监督学习二分类问题的范畴。

数学表达

数学公式还有十秒进入战场，请做好准备！ 首先对于超平面的描述，我们使用最简单的线性方程来描述，即: $${\omega }^{T}x+b=0\text{\hspace{1em}(1)}$$

这里的$x$实质为${\left\{x_0,x_1,x_2,...,x_n\right\}}^T$样本特征向量， $\omega$为${\left\{{\omega }_0,{\omega }_1,{\omega }_2,...,{\omega }_n\right\}}^T$系数向量，$b$为偏移，我们的目的就是通过样本来找到式（1）所描述的超平面。当然如果不好理解，就简单用二维情形来理解，直线即为超平面，其方程为$A{x}_0+B{x}_1+C=0$，其向量形式为 $\left(A,B\right)\left(\genfrac{}{}{0ex}{}{x_0}{x_1}\right)+C=0$，也就是${\omega }^T=\left(A,B\right)$，$x=\left(\genfrac{}{}{0ex}{}{x_0}{x_1}\right)$，$b=C$。

一切问题的求解都是有约束的，否则问题将不是问题。这里求得这个超平面的约束在上一节也已经给出，即使得两类样本与这个超平面之间的最小距离最大，如何用数学形式来表达这一约束条件呢？ 现在我们手上已经有了这么一个超平面${\omega }^{T}x+b=0$，那么下面要做的其实有4件事：

用超平面对样本进行分割计算样本到这个超平面的距离${\gamma }_i$。找到样本到超平面的最小距离$d$。找到使得$d$最大的超平面。

现在只要描述清楚四个概念即可表达出超平面的约束条件，即距离、最小距离和最大间隔，而我们手上目前有的除了式（1）描述的目标超平面外，还有样本集合 $$D=\left\{(x^i,y^i)|i=1,2,...,m\right\}\text{\hspace{1em}(2)}$$

其中$x^i$为某个样本的特征向量，$y^i$为这个特征向量的分类标签，事实上可以取任意值，仅仅是为了计算的方便，通常取$y^iϵ\left\{-1,+1\right\}$。

问题1：用超平面对样本进行分割

已知超平面上的点满足${\omega }^{T}x+b=0$，超平面两侧的样本满足 $$\{\begin{array}{ll}{\omega }^T{x}^i+b>0& \forall y^i=+1\\ {\omega }^T{x}^i+b<0& \forall y^i=-1\end{array}$$ 将$y^i=\pm 1$的条件代入，整理可得 $$y^i({\omega }^T{x}^i+b)>0\text{\hspace{1em}(3)}$$ 故只要超平面能够将样本正确分类，则必然满足式（3）。 这里的$y^i({\omega }^T{x}^i+b)$也被定义为函数距离。

问题2：样本到超平面的距离的数学表达

在式（1）和式（2）的基础上，回到我们要解决的第一个问题，即样本到超平面的距离上。假设超平面上有一点$x^{\prime }$，那么对于任意样本$x$，它到超平面的距离$d$实际上就是向量$x{x}^{\prime }$在超平面单位法向量的投影，这一投影可以由向量内积表示。我们知道超平面的法向量为${\omega }^T$，单位向量即向量除以向量的长度，所以单位法向量则为$\frac{{\omega }^T}{\Vert \omega \Vert }$，向量$x{x}^{\prime }$就是$(x-x^{\prime })$，所以单位法向量上的投影即为$\frac{{\omega }^T}{\Vert \omega \Vert }$$(x-x^{\prime })$，用绝对值去除符号的影响，m得到的就是样本到超平面的距离： $$\gamma =\left|\frac{{\omega }^T}{\Vert \omega \Vert }(x-x^{\prime }))\right|\text{\hspace{1em}(4)}$$

又因为$x^{\prime }$在超平面上所以有${\omega }^T{x}^{\prime }+b=0$，即 $${\omega }^T{x}^{\prime }=-b\text{\hspace{1em}(5)}$$

将式（5）代入式（4），有 $$\gamma =\left|\frac{{\omega }^T}{\Vert \omega \Vert }(x-x^{\prime }))\right|=\left|\frac{{\omega }^{T}x-{\omega }^T{x}^{\prime }}{\Vert \omega \Vert }\right|=\frac{\left|{\omega }^{T}x+b\right|}{\Vert \omega \Vert }\text{\hspace{1em}(6)}$$ 用${\gamma }_i$表示样本$x^i$到超平面的距离，有

$${\gamma }_i=\frac{\left|{\omega }^T{x}^i+b\right|}{\Vert \omega \Vert }\text{\hspace{1em}(7)}$$

式（6）即是问题1的答案，这里的${\gamma }_i$也被定义为几何距离。

问题3：样本到超平面的最小距离$d$的数学表达

下面我们来解决问题2，找到样本到超平面的最小距离$d$，这是遍历所有样本，在其中找极值的问题。 由式（7）我们已经知道了样本到超平面的距离，那么这个最小距离d就是计算样本空间$D$中的每一个样本的${\gamma }_i$，从中找到最小值，即 $$d=\underset{i}{\min }{\gamma }^i=\underset{i}{\min }\frac{\left|{\omega }^T{x}^i+b\right|}{\Vert \omega \Vert }\text{\hspace{1em}(8)}$$

式（8）中$\Vert \omega \Vert$是与$i$无关的量，所以进一步可得 $$d=\frac{1}{\Vert \omega \Vert }\underset{i}{\min }\left|{\omega }^T{x}^i+b\right|\text{\hspace{1em}(9)}$$ 将$\left|{\omega }^T{x}^i+b\right|$的$\left|\cdot \right|$去除，由于

$$\left|{\omega }^T{x}^i+b\right|=\{\begin{array}{ll}{\omega }^T{x}^i+b& \forall y^i=+1\\ -({\omega }^T{x}^i+b)& \forall y^i=-1\end{array}$$ 将条件合并，即将$y^i=\pm 1$条件分别代入结果，得 $$\left|{\omega }^T{x}^i+b\right|=\{\begin{array}{ll}(+1)({\omega }^T{x}^i+b)=y^i({\omega }^T{x}^i+b)& \\ (-1)({\omega }^T{x}^i+b)=y^i({\omega }^T{x}^i+b)& \end{array}=y^i({\omega }^T{x}^i+b)\text{\hspace{1em}(10)}$$ 将式（10）代入式（9），这样即可回答问题2. $$d=\frac{1}{\Vert \omega \Vert }\underset{i}{\min }{y}^i({\omega }^T{x}^i+b)\text{\hspace{1em}(11)}$$

问题4：异类样本间的最大间隔的数学表达

在问题1和问题2的基础上，我们可以给出这一问题的回答。 首先依然从直观上解释这里的间隔是什么，如下图所示，假设上方粉色样本为正样本，下方蓝色样本为负样本，平行的粉色和蓝色的超平面的中线为目标超平面，粉色和蓝色超平面的距离即为间隔。改变$\omega$和$b$可以找到满足要求的多个超平面，而我们的目标是使得这一间隔最大。 通过问题3我们已经知道样本到超平面间的距离，这里又明确了间隔的概念，所以找最大间隔实质就是找到一组$\omega$和$b$，使得支持向量到这个超平面的距离最大，即 $$\underset{\omega ,b}{\max }d=\underset{\omega ,b}{\max }\frac{1}{\Vert \omega \Vert }\underset{i}{\min }{y}^i({\omega }^T{x}^i+b)$$

结合问题1超平面分割样本的约束，最终可以得出求得SVM超平面的完整数学表达： $$\begin{array}{r}\underset{\omega ,b}{\max }\frac{1}{\Vert \omega \Vert }\underset{i}{\min }{y}^i({\omega }^T{x}^i+b)\\ \text{subject to }{y}^i({\omega }^T{x}^i+b)>0\end{array}\text{\hspace{1em}(12)}$$

公式简化

式（12）完整表达出了SVM的内核，看似简单，但是若要求解出($\omega$,$b$)还是太过复杂，下面对这一公式进行简化。 首先对于超平面${\omega }^{T}x+b=0$具有这么一个性质，对于$\omega$和$b$同时扩大$\lambda$倍，有 $$\begin{array}{rl}(\lambda \omega {)}^{T}x+\lambda b& =\lambda ({\omega }^{T}x+b)\\ & ={\omega }^{T}x+b\\ & =0\end{array}$$

也就是说：$\omega$和$b$等比变化后，超平面不变，记住这个结论。

这时再回到式(12)，就会发现，其最终的参数解会是一组等比例的$(\omega ,b)$集合，因为参数的等比变化并不会影响最终的超平面，也就是说${\omega }^{T}x+b=0$和${\left(\lambda \omega \right)}^{T}x+\lambda b=0$是同一个超平面，而对于我们而言，只需要找到这一集合中的一个解就可以解决问题。

对于所有样本集合$D$和一组等比例的$(\omega ,b)$集合，式（12）中${\min }_i{y}^i({\omega }^T{x}^i+b)$的含义就是在$(\omega ,b)$固定的前提下，求得所有样本关于$y^i({\omega }^T{x}^i+b)$的最小值，我们令 $${\iota }^i=y^i({\omega }^T{x}^i+b)\text{\hspace{1em}(13)}$$

这个的${\iota }^i$也就是所谓的函数间隔。那么对于另一组解$({\omega }^{\prime },b^{\prime })$而言，与$(\omega ,b)$是等比的即$({\omega }^{\prime },b^{\prime })=(\lambda \omega ,\lambda b)$，还记得上面那个结论么，等比变化后，超平面不变，也就距离超平面最近的样本也没变，换句话说就是支持向量不变，故这个解下的最小函数间隔为：

$$\begin{array}{rl}{\left({\iota }^i\right)}^{\prime }& =y^i\left({\left({\omega }^{\prime }\right)}^T{x}^i+b^{\prime }\right)\\ & =y^i\left({\left(\lambda \omega \right)}^T+\lambda b\right)\\ & =\lambda y^i\left({\omega }^T{x}^i+b\right)\\ & =\lambda {\iota }^i\end{array}$$

这时可以得到第二个结论：$\omega$和$b$等比变化后的函数间隔也跟随呈同比变化。 这就意味着函数间隔可以在实数域中任意取值，总会存在那么一组$({\omega }^{\prime },b^{\prime })$满足SVM的条件，反过来讲也就是如果固定最小函数间隔，一定可以找到超平面对应的那组$(\omega ,b)$，那么为达到简化的目的，不妨就限定函数间隔为1，即 $$mi{n}_i{\iota }^i=1$$$$mi{n}_i{y}^i({\omega }^T{x}^i+b)=1\text{\hspace{1em}(14)}$$

而对于任意样本$(x^i,y^i)$一定有 $$y^i({\omega }^T{x}^i+b)\ge 1\text{\hspace{1em}(15)}$$

将式(14)(15)代入公式(12)可简化为： $$\underset{\omega ,b}{\max }\frac{1}{\Vert \omega \Vert }$$$$\text{subject to }{y}^i({\omega }^T{x}^i+b)\ge 1\text{\hspace{1em}(16)}$$

进一步，求$\frac{1}{\Vert \omega \Vert }$的最大值也就是求$\Vert \omega \Vert$的最小值，又因为$\Vert \omega \Vert$非负，故求${\Vert \omega \Vert }^2$的最小值不影响可以优化结果，式(12)最终优化成： $$\underset{\omega ,b}{\min }\frac{1}{2}{\Vert \omega \Vert }^2$$$$\text{s.t. }{y}^i({\omega }^T{x}^i+b)\ge 1\text{\hspace{1em}(15)}$$ 这样的表达可以转换为凸优化问题，用现有的方法求解，显然这里的$\frac{1}{2}$也是为了后面求导方便所加，然而以后的事以后再说，SVM核心思想和数学表达到此为止。