第20课:SVM——对偶学习算法

对偶问题

一般情况下,我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。

而且,同一个函数可能同时既有等式约束条件,又有不等式约束条件。

主问题

现在我们考虑在 $d$ 维空间上有 $m$ 个等式约束条件和 $n$ 个不等式约束条件的极小化问题。这样的问题可以写作:

$min f(x),;其中;x;为;d;维$。

$s.t. ;; h_i(x) = 0 , ;;i = 1,2,…, m; ;; g_j(x) leqslant 0, ;; j = 1,2, …, n$

我们把上述问题称为“原始最优化问题”,也可以叫做“原始问题”或“主问题”。

为了解决原始问题,我们引入拉格朗日乘子 $lambda = (lambda_1, lambda_2, …, lambda_m)^T $ 和 $mu = (mu_1, mu_2, …, mu_n)^T $,构造拉格朗日函数为:

$L(x,lambda,mu) = f(x) + sum_{i=1}^{m}lambda_ih_i(x) + sum_{j=1}^{n}mu_jg_j(x) $

然后,再设:

$Gamma(lambda,mu) = inf_{xin D}( f(x) + sum_{i=1}^{m}lambda_ih_i(x) + su

经验分享 程序员 微信小程序 职场和发展