目錄

1. 拉格朗日乘子法用于最優(yōu)化的原因

2. 最優(yōu)化問(wèn)題三種情況

2.1 無(wú)約束條件

2.2 等式約束條件：拉格朗日乘子法

2.3 不等式約束條件：KKT

3. Lagrange對(duì)偶函數(shù)

3.1?對(duì)偶函數(shù)與原問(wèn)題的關(guān)系

3.2 Lagrange對(duì)偶問(wèn)題

（1）弱對(duì)偶性

（2）強(qiáng)對(duì)偶性

（3）KKT條件

---

? ? ? ? 在求解最優(yōu)化問(wèn)題中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）條件是兩種最常用的方法，即：

• 拉格朗日乘子法：在有等式約束時(shí)使用拉格朗日乘子法；
• KKT條件：在有不等約束時(shí)使用KKT條件。

1. 拉格朗日乘子法用于最優(yōu)化的原因

? ? ? ?考慮一個(gè)簡(jiǎn)單的問(wèn)題目標(biāo)函數(shù)f，等式約束，求解極小值點(diǎn)。

? ? ? ?f(x)在二維平面上畫出等高線就是一條條斜率相同的直線，h(x)=0在二維平面上畫出等高線就是一個(gè)圓，如下圖所示。可以明顯的看出，在圓圈h(x)的限制下，直線f(x)的最小值為-2，在左下角直線x1+x2=2和圓的交點(diǎn)上。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? （1）不考慮圓h(x)的限制時(shí)，f(x)要得到極小值，需要往f(x)的負(fù)梯度（下降最快的方向）方向走，如下左圖藍(lán)色箭頭。

? ? （2）考慮圓h(x)的限制時(shí)，要得到極小值，需要沿著圓的切線方向走，如下右圖紅色粗箭頭。注意這里的方向不是h(x)的梯度，而是正交于h(x)的梯度，h(x)梯度：右圖的紅色細(xì)箭頭。在極小值點(diǎn)，f(x)和h(x)的等高線是相切的。

? ? ??

? ? ? ?容易發(fā)現(xiàn)，在關(guān)鍵的極小值點(diǎn)處，f(x)的負(fù)梯度和h(x)的梯度在同一直線上，如下圖左下方critical point的藍(lán)色和紅色箭頭所示。注意圖中所示是同向的，但是這里并不一定是同向，有可能反向（因?yàn)榈仁郊s束h(x)=0，把h(x)變成-h(x)求解是一樣的，這個(gè)時(shí)候h(x)的梯度就相反了）。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? 由此可知，在極小值點(diǎn)，h(x)和f(x)的梯度在同一線上，有

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? 所以，對(duì)于f(x)和h(x)而言，只要滿足上面這個(gè)式子，同時(shí)使得h，解得的x就是我們要求的極小值點(diǎn)（或極大值點(diǎn)，為了簡(jiǎn)單起見我們只討論極小值點(diǎn)）

? ? ? ? 要做到這一點(diǎn)，可以構(gòu)造一個(gè)拉格朗日函數(shù)，對(duì)函數(shù)令偏導(dǎo)等于0求解，恰好等價(jià)于“滿足上面這個(gè)式子，同時(shí)使得h(x) = 0"，原問(wèn)題轉(zhuǎn)化為對(duì)拉格朗日函數(shù)求極值問(wèn)題，這就是拉格朗日乘子法，如下圖所示（注意一下這個(gè)μ的正負(fù)變化）。

? ? ? ? ? ? ? ? ? ? ? ? ? ?

參考：拉格朗日乘子法和KKT條件

2. 最優(yōu)化問(wèn)題三種情況

　? ? 我們這里提到的最優(yōu)化問(wèn)題通常是指對(duì)于給定的某一函數(shù)，求其在指定作用域上的全局最小值（因?yàn)樽钚≈蹬c最大值可以很容易轉(zhuǎn)化，即最大值問(wèn)題可以轉(zhuǎn)化成最小值問(wèn)題）。提到KKT條件一般會(huì)附帶的提一下拉格朗日乘子。對(duì)學(xué)過(guò)高等數(shù)學(xué)的人來(lái)說(shuō)比較拉格朗日乘子應(yīng)該會(huì)有些印象。二者均是求解最優(yōu)化問(wèn)題的方法，不同之處在于應(yīng)用的情形不同，KKT條件是對(duì)拉格朗日乘子法的一種泛化。

? ? ? 一般情況下，最優(yōu)化問(wèn)題會(huì)碰到一下三種情況：

2.1 無(wú)約束條件

　　這是最簡(jiǎn)單的情況，解決方法通常是函數(shù)對(duì)變量求導(dǎo)，令求導(dǎo)函數(shù)等于0的點(diǎn)可能是極值點(diǎn)。將結(jié)果帶回原函數(shù)進(jìn)行驗(yàn)證即可。

2.2 等式約束條件：拉格朗日乘子法

? ? ? 設(shè)目標(biāo)函數(shù)為f(x)，約束條件為h_k(x)，形如:

? ? ? s.t. 表示subject to ，“受限于”的意思，表示有個(gè)約束條件。

　　　　　　　? ? ? ? ? ? ? ?　

　　則解決方法是消元法或者拉格朗日法。消元法比較簡(jiǎn)單不在贅述，這里主要講拉格朗日法，因?yàn)楹竺嫣岬降腒KT條件是對(duì)拉格朗日乘子法的一種泛化。

??? ? ? ?拉格朗日乘子法的求解流程大概包括以下幾個(gè)步驟：?
　　　? 1）構(gòu)造拉格朗日函數(shù)?
　　　? 2）解變量的偏導(dǎo)方程?
　　　? 3）代入目標(biāo)函數(shù)即可?
?　 關(guān)鍵在于構(gòu)造拉格朗日函數(shù)，后面求解實(shí)際上就是高數(shù)里面基本的求偏導(dǎo)數(shù)的問(wèn)題了。我們不妨另：　? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

　　然后分別對(duì)每一個(gè)變量求導(dǎo)，得出來(lái)的解代入目標(biāo)函數(shù)就ok了！

　? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?　

　　例如：求這個(gè)橢球的內(nèi)接長(zhǎng)方體的最大體積

? ? ? ? 在條件

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?下，求

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?最大值。

? ? ? ?這個(gè)問(wèn)題實(shí)際上就是條件極值問(wèn)題，即在條件（1）?下，求的最大值。

　　當(dāng)然這個(gè)問(wèn)題實(shí)際可以先根據(jù)條件消去 z?(消元法)，然后帶入轉(zhuǎn)化為無(wú)條件極值問(wèn)題來(lái)處理。但是有時(shí)候這樣做很困難，甚至是做不到的，這時(shí)候就需要用拉格朗日乘數(shù)法了。??

　　 ?首先定義拉格朗日函數(shù)F(x)：

　　　　　　　　? （?其中λk是各個(gè)約束條件的待定系數(shù)。） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? 然后解變量的偏導(dǎo)方程：

? ? ??　　　? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 　......,

　　　如果有個(gè)約束條件，就應(yīng)該有+1個(gè)方程。求出的方程組的解就可能是最優(yōu)化值（高等數(shù)學(xué)中提到的極值），將結(jié)果帶回原方程驗(yàn)證就可得到解。

　　　回到上面的題目，通過(guò)拉格朗日乘數(shù)法將問(wèn)題轉(zhuǎn)化為

　　　　?????

　　　對(duì)求偏導(dǎo)得到

? ? ?　　　 ?

　　　聯(lián)立前面三個(gè)方程得到和，帶入第四個(gè)方程解之

　　　　? ? ??

　　　帶入解得最大體積為：

??????　　　　

?

2.3 不等式約束條件：KKT

? ? ? ?設(shè)目標(biāo)函數(shù)f(x)，不等式約束為g(x)，有的教程還會(huì)添加上等式約束條件h(x)。此時(shí)的約束優(yōu)化問(wèn)題描述如下：

　　　　　　　　

? ? ? ? 則我們定義不等式約束下的拉格朗日函數(shù)L，即廣義拉格朗日函數(shù)：

　　　　　　　　

? ? ?其中，、是拉格朗日乘子，f(x)是原目標(biāo)函數(shù)，hj(x)是第j個(gè)等式約束條件，λj是對(duì)應(yīng)的約束系數(shù)，gk是不等式約束，uk是對(duì)應(yīng)的約束系數(shù)。

　　常用的方法是KKT條件，同樣地，把所有的不等式約束、等式約束和目標(biāo)函數(shù)全部寫為一個(gè)式子L(a, b, x)= f(x) + a*g(x)+b*h(x)，

　　KKT條件是說(shuō)最優(yōu)值必須滿足以下條件：

　　　　（1）?? ? ? ?原約束

　　　　（2）?

　　　　（3）?

　　求取這些等式之后就能得到候選最優(yōu)值。其中第三個(gè)式子非常有趣，因?yàn)間(x)<=0，如果要滿足這個(gè)等式，必須a=0或者g(x)=0. 這是SVM的很多重要性質(zhì)的來(lái)源，如支持向量的概念。

　　基于KKT條件，不等式約束條件的問(wèn)題基本也就解決了，下面來(lái)說(shuō)說(shuō)我自己的一點(diǎn)心得吧！?
第一點(diǎn)：拉格朗日乘子法求解優(yōu)化問(wèn)題是很有效的方法，對(duì)于限制條件比較多的情況下，特別是限制條件較為復(fù)雜的情況下，利用該方法可以很容易的求解出來(lái)。?
第二點(diǎn)：約束條件其實(shí)就是限定了問(wèn)題的解決范圍，學(xué)會(huì)如何轉(zhuǎn)化和考量限制條件是解決問(wèn)題的關(guān)鍵。?
第三點(diǎn)：基礎(chǔ)知識(shí)的重要性，比如說(shuō)高數(shù)如果學(xué)不好的話。

3. Lagrange對(duì)偶函數(shù)

? ? ? ?在約束優(yōu)化問(wèn)題中，常常用拉格朗日對(duì)偶性來(lái)將原始問(wèn)題轉(zhuǎn)為對(duì)偶問(wèn)題，通過(guò)解對(duì)偶問(wèn)題的解來(lái)得到原始問(wèn)題的解。

3.1 為什么要利用對(duì)偶？

首先要明確，對(duì)偶問(wèn)題的解不一定直接等于原問(wèn)題的解（弱對(duì)偶），但是，對(duì)偶問(wèn)題有兩點(diǎn)性質(zhì)。

? ? ? （1） 滿足某些條件時(shí)，對(duì)偶問(wèn)題直接等于原問(wèn)題的解（強(qiáng)對(duì)偶）

? ? ? （2）無(wú)論原始問(wèn)題是否是凸的，對(duì)偶問(wèn)題都是凸優(yōu)化問(wèn)題

顯然，在某些情況下，直接對(duì)對(duì)偶問(wèn)題求解可以得到原問(wèn)題的解，而且對(duì)偶問(wèn)題是凸優(yōu)化，易于求解。所以利用對(duì)偶來(lái)求解是很有用的。

3.2?對(duì)偶函數(shù)與原問(wèn)題的關(guān)系

（1）原始問(wèn)題：

? ? ? ?假設(shè)f(x),ci(x),hj(x)是定義在Rn上的聯(lián)系可微函數(shù)，考慮約束條件下最優(yōu)化問(wèn)題：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

稱此約束最優(yōu)化問(wèn)題為原問(wèn)題。

（2）廣義拉格朗日函數(shù)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

（3）Lagrange對(duì)偶函數(shù)：

? ? ? ?定義拉格朗日對(duì)偶函數(shù)或者對(duì)偶函數(shù)g為拉格朗日函數(shù)關(guān)于x取得的最小值，即對(duì)α、β，有：

?? ? ? ? ? ? ? ? ? ?

通俗理解就是每確定一組(α，β)，就要找到一個(gè)x使得L最小，不同的(α，β)對(duì)應(yīng)不同的g函數(shù)值。

（4）對(duì)偶函數(shù)與原問(wèn)題的關(guān)系：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? 所以對(duì)偶函數(shù)是原問(wèn)題的最優(yōu)值下界，雖然不等式成立，但是如果α<0，并且讓?duì)邻吔谪?fù)無(wú)窮，這個(gè)時(shí)候g(α,β)=-∞，雖然也滿足不等式，但是此時(shí)沒(méi)有任何意義。所以只有當(dāng)α≥0，這個(gè)時(shí)候g(α,β)＞-∞時(shí)，對(duì)偶函數(shù)才能給出原目標(biāo)函數(shù)一個(gè)非平凡有意義的下界，稱此條件下的(α,β)是對(duì)偶可行的。圖示如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? 在圖中，實(shí)線——代表的是目標(biāo)函數(shù)f(x)，虛線——代表的是約束條件c(x)，彩色的點(diǎn)線——代表λ取不同值的時(shí)候?qū)?yīng)的拉格朗日函數(shù)L。我們可以看到，在約束條件可行(c(x)≤0)的區(qū)間內(nèi)，拉格朗日函數(shù)都是小于目標(biāo)函數(shù)的。在可行區(qū)間內(nèi)，目標(biāo)函數(shù)的最值將在x = -0.46處取得p?=1.54。

為什么對(duì)偶函數(shù)一定是凹函數(shù)呢？

? ? ? ?其實(shí)L可以理解為一個(gè)以固定x帶入c(x)和h(x)作為常數(shù)值系數(shù)，α、β作為變量的仿射函數(shù)。所謂仿射函數(shù)，就是f(x)=a*x+b形式，其實(shí)就是線性函數(shù)了。

? ? ? ?所以，g(α,β)為很多個(gè)仿射函數(shù)的逐個(gè)x取值點(diǎn)取最小值：

? ? ? ? ? ? ? ? ? ? ? ? L=Aα+Bβ+C? ? ??其中：A=c(x)? ? B=h(x)? ? C=f(x)

? ? ? 例如：L=2α+3β+1，L=α+2β+4，?L=5α+β+3等等。

便于理解，先不考慮β，這樣大致展示的圖像就是如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?里面的每一條直線，都是以某一固定x作為系數(shù)，α作為變量的線性函數(shù)的直線，也就是當(dāng)x固定時(shí)候，隨著α的變化，L的值不斷發(fā)生變化。

? ? ? ?當(dāng)我們沿著L所在軸豎著切下來(lái)的時(shí)候，也就是圖中個(gè)藍(lán)色線，這個(gè)時(shí)候其實(shí)就是α固定，而對(duì)應(yīng)不同的x情況下，L值的一個(gè)變化范圍。由圖可知，紅色線就是每次固定α，而找到一個(gè)x，使得L最小的走勢(shì)線，也就是g(α,β)的函數(shù)曲線，如下圖：

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?凹折線就是g(α,β)的曲線，水平虛線就是原問(wèn)題的最優(yōu)函數(shù)值P*。由此可知，無(wú)論原問(wèn)題和約束條件是什么樣的，對(duì)偶函數(shù)都是凹函數(shù)，且都小于等于原問(wèn)題最優(yōu)值。

3.3 Lagrange對(duì)偶問(wèn)題

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?對(duì)于任意一組(α，β)，其中α≥0，拉格朗日對(duì)偶函數(shù)給出了原問(wèn)題的最優(yōu)值的一個(gè)下界，因此，我們可以得到和參數(shù)α、β相關(guān)的一個(gè)下界。一個(gè)自然問(wèn)題是：從Lagrange函數(shù)能得到的最好下界是什么？可以將這個(gè)問(wèn)題表述為優(yōu)化問(wèn)題：

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

上述問(wèn)題就稱之為Lagrange對(duì)偶問(wèn)題。

? ? ? ? 前面講只有當(dāng)α≥0，g(α,β)＞-∞時(shí)此時(shí)才有意義，滿足這樣一組條件的(α，β)是上述對(duì)偶問(wèn)題的一個(gè)可行解。如果一個(gè)解（α*，β*)是上述對(duì)偶問(wèn)題的最優(yōu)解，則稱解(α*，β*)是對(duì)偶最優(yōu)解或者最優(yōu)Lagrange乘子。

此時(shí)對(duì)偶問(wèn)題是一個(gè)凸優(yōu)化問(wèn)題，這是因?yàn)闃O大化目標(biāo)函數(shù)是一個(gè)凹函數(shù)，且約束集合是一個(gè)凸集。

（1）弱對(duì)偶性

? ? ? ?Lagrange對(duì)偶問(wèn)題的最優(yōu)值，我們用*表示，根據(jù)定義，這是通過(guò)Lagrange函數(shù)得到的原問(wèn)題最優(yōu)值*的最好下界。特別地，我們有下面簡(jiǎn)單但是非常重要的不等式

? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

即使原問(wèn)題不是凸問(wèn)題，上述不等式也成立，這個(gè)性質(zhì)稱為弱對(duì)偶性。

（2）強(qiáng)對(duì)偶性

? ? ? ? 與弱對(duì)偶性相對(duì)應(yīng)的有一個(gè)強(qiáng)對(duì)偶性（strong duality）?，強(qiáng)對(duì)偶即滿足：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ?強(qiáng)對(duì)偶是一個(gè)非常好的性質(zhì)，因?yàn)樵趶?qiáng)對(duì)偶成立的情況下，可以通過(guò)求解對(duì)偶問(wèn)題來(lái)得到原始問(wèn)題的解，在 SVM 中就是這樣做的。當(dāng)然并不是所有的對(duì)偶問(wèn)題都滿足強(qiáng)對(duì)偶性 ，在 SVM 中是直接假定了強(qiáng)對(duì)偶性的成立，其實(shí)只要滿足一些條件，強(qiáng)對(duì)偶性是成立的，比如說(shuō)?Slater 條件與KKT條件。

（3）KKT條件

? ? ? ?假設(shè)x*是原始問(wèn)題的最優(yōu)解，α*和β*是對(duì)偶問(wèn)題的最優(yōu)解。如果強(qiáng)對(duì)偶成立，那么原問(wèn)題最優(yōu)解和對(duì)偶問(wèn)題最優(yōu)解必須滿足KKT條件，屬于充分必要條件。

?? ? ? ? ? ? ? ? ??

?

參考：

拉格朗日對(duì)偶理解：https://www.cnblogs.com/gczr/p/10521551.html

總結(jié)

以上是生活随笔為你收集整理的拉格朗日乘子法 KKT条件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。