第20课:SVM——对偶学习算法
对偶问题
一般情况下,我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。
而且,同一个函数可能同时既有等式约束条件,又有不等式约束条件。
主问题
现在我们考虑在 $d$ 维空间上有 $m$ 个等式约束条件和 $n$ 个不等式约束条件的极小化问题。这样的问题可以写作:
$min f(x),;其中;x;为;d;维$。
$s.t. ;; h_i(x) = 0 , ;;i = 1,2,…, m; ;; g_j(x) leqslant 0, ;; j = 1,2, …, n$
我们把上述问题称为“原始最优化问题”,也可以叫做“原始问题”或“主问题”。
为了解决原始问题,我们引入拉格朗日乘子 $lambda = (lambda_1, lambda_2, …, lambda_m)^T $ 和 $mu = (mu_1, mu_2, …, mu_n)^T $,构造拉格朗日函数为:
$L(x,lambda,mu) = f(x) + sum_{i=1}^{m}lambda_ih_i(x) + sum_{j=1}^{n}mu_jg_j(x) $
然后,再设:
$Gamma(lambda,mu) = inf_{xin D}( f(x) + sum_{i=1}^{m}lambda_ih_i(x) + su
上一篇:
通过多线程提高代码的执行效率例子
下一篇:
746. 使用最小花费爬楼梯【动态规划】