等式约束和不等式约束下的KKT条件求法
一、寫在前面
本篇內(nèi)容主要寫非線性規(guī)劃等式約束和不等式約束下的KKT條件，主要通過舉例說明。
二、等式約束下的KKT條件
1、 題目描述
考慮等式約束的最小二乘問題
minimizexTxsubjecttoAx=bminimize \quad x^Tx \\ subject \ to \quad Ax=bminimizexTxsubject?toAx=b
其中， A∈Rm?n,rank(A)=mA \in \mathbb{R}^{m*n},rank(A)=mA∈Rm?n,rank(A)=m 。給出KKT條件，推導(dǎo)原問題最優(yōu)解x^* 以及對偶問題最優(yōu)解v^* 的表達(dá)式。
2、Lagrarian函數(shù)
L(x,v)=xTx+vT(Ax?b)L(x,v)=x^Tx+v^T(Ax-b)L(x,v)=xTx+vT(Ax?b)
=xTx+vTAx?vTb= x^Tx+v^TAx-v^Tb=xTx+vTAx?vTb
3、KKT條件
其對應(yīng)的KKT條件如下：
導(dǎo)數(shù)為乘子不為等式約束條件{?L(x?,v?)?(x?)=0//導(dǎo)數(shù)為0(v?)T≠0//Lagrange乘子不為0Ax?=b//等式約束條件\begin{cases} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = 0 \quad \quad //導(dǎo)數(shù)為0\\ (v^*)^T \neq 0 \quad \quad //Lagrange乘子不為0 \\ Ax^* = b \quad \quad //等式約束條件 \end{cases}???????(x?)?L(x?,v?)?=0//導(dǎo)數(shù)為0(v?)T??=0//Lagrange乘子不為0Ax?=b//等式約束條件?
二、不等式約束下的KKT條件
1、 題目描述
考慮不等式約束下的線性規(guī)劃問題
maximizef(x)=(x?3)2subjectto1≤x≤5maximize \quad f(x)=(x-3)^2 \\ subject \ to \quad 1≤x≤5maximizef(x)=(x?3)2subject?to1≤x≤5
2、Lagrarian函數(shù)
原條件等價(jià)于：
{minf(x)=?(x?3)2g1(x)=1?x≤0g2(x)=x?5≤0\begin{cases} min \ f(x)=-(x-3)^2\\ g_1(x)=1-x ≤0 \\ g_2(x)=x-5 ≤0 \end{cases}??????min?f(x)=?(x?3)2g1?(x)=1?x≤0g2?(x)=x?5≤0?
其對應(yīng)的Lagrarian函數(shù)為：
KaTeX parse error: No such environment: align at position 7: \begin{?a?l?i?g?n?}? L(x,λ_1,λ_2) …
3、KKT條件
其對應(yīng)的KKT條件如下：
導(dǎo)數(shù)為不等式約束條件不等式約束條件不等式約束條件不等式約束條件乘子大于乘子大于{?L(x?,v?)?(x?)=?2(x??3)?λ1?+λ2?=0//導(dǎo)數(shù)為0λ1?g1(x?)=λ1?(1?x?)=0//不等式約束條件λ2?g2(x?)=λ2?(x??5)=0//不等式約束條件g1(x?)≤0//不等式約束條件g2(x?)≤0//不等式約束條件λ1?≥0//Lagrange乘子大于0λ2?≥0//Lagrange乘子大于0\begin{cases} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = -2(x^*-3)-λ_1^*+λ_2^* = 0 \quad \quad //導(dǎo)數(shù)為0\\ λ_1^*g_1(x^*) =λ_1^*(1-x^*)=0 \quad \quad //不等式約束條件\\ λ_2^*g_2(x^*) =λ_2^*(x^*-5)=0 \quad \quad //不等式約束條件\\ g_1(x^*) ≤ 0 \quad \quad //不等式約束條件\\ g_2(x^*) ≤ 0 \quad \quad //不等式約束條件\\ λ_1^*≥0 \quad \quad //Lagrange乘子大于0\\ λ_2^*≥0\quad \quad //Lagrange乘子大于0\\ \end{cases}???????????????????????????(x?)?L(x?,v?)?=?2(x??3)?λ1??+λ2??=0//導(dǎo)數(shù)為0λ1??g1?(x?)=λ1??(1?x?)=0//不等式約束條件λ2??g2?(x?)=λ2??(x??5)=0//不等式約束條件g1?(x?)≤0//不等式約束條件g2?(x?)≤0//不等式約束條件λ1??≥0//Lagrange乘子大于0λ2??≥0//Lagrange乘子大于0?
二、等式約束和不等式約束結(jié)合的KKT條件
1、 題目描述
考慮不等式約束下的線性規(guī)劃問題
minimizef(x)g(x)=0h(x)≤0minimize f(x) \\ g(x)=0 \\ h(x)≤0minimizef(x)g(x)=0h(x)≤0
2、Lagrarian函數(shù)
其對應(yīng)的Lagrarian函數(shù)為：
KaTeX parse error: No such environment: align at position 7: \begin{?a?l?i?g?n?}? L(x,λ,μ) & =…
3、KKT條件
其對應(yīng)的KKT條件如下：
導(dǎo)數(shù)為等式乘子不為等式約束條件不等式約束條件不等式約束條件不等式乘子大于
本文來自 nana-li 的CSDN 博客 ，全文地址請點(diǎn)擊：https://blog.csdn.net/quiet_girl/article/details/79066019?utm_source=copy
總結(jié)
以上是生活随笔為你收集整理的等式约束和不等式约束下的KKT条件求法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 次梯度（subgradient）
- 下一篇： 机器学习实战第15章pegasos算法原