我們定義Lagrange對偶函數：

[g:mathbb{R}^{m} imesmathbb{R}^{p}longrightarrow mathbb{R},
]

egin{equation}g(lambda,
u)=inf_{xin D}L(x,lambda,
u)end{equation}

值得注意的是，無論 (f_{i}), (h_{i})是否為凸函數，Lagrange 對偶函數(g)都將是凹函數。另外，對于任意的(xinmathbb{R}^{n})滿足(1)中的約束條件以及((lambda,
u)inmathbb{R}^{m} imesmathbb{R}^{p}),(lambdasucceq 0)
egin{split}g(lambda,
u)leq L(x,lambda,
u)&=f_{0}(x)+sum_{i=1}^{{m}lambda_{i}f_{i}(x)+sum_{i=1}}{p}
u_{i}h_{i}(x)
ewline &leq f_{0}(x),end{split}
上式兩邊同時取下確界"(inf_{C})"我們得到：

egin{equation}
g(lambda,
u)leq p^{ast}
end{equation}

現在我們考慮如下的優化問題：
egin{equation}egin{split}maxquad & g(lambda,
u)
ewline ext{subject to:}quad & lambdasucceq 0 end{split}end{equation}
則我們稱該問題是原始問題(1)的"Lagrange對偶問題",簡稱"對偶問題"。

這時我們設(q^{ast})為上述問題的最優值，即(q^{ast}=sup_{lbracelambdasucceq 0brace}g(lambda,
u)), 則由（4）可知(q^{ast}leq p^{ast})。我們再令(d^{ast}=p^{ast}-q^{ast}), 稱(d^{ast})為原問題和對偶問題之間的差距(gap). 進一步，如果(d^{ast}=0),我們稱原問題和對偶問題是強對偶的。

egin{equation}mathcal{G} riangleqlbrace (f_{1}(x),...,f_{m}(x),h_{1}(x),...,h_{p}(x),f_{0}(x))in mathbb{R}^{{m} imesmathbb{R}}{p} imesmathbb{R}mid xin D braceend{equation}

這時候很容易知道：

egin{equation}p^{ast}=inflbrace tmid (u,v,t)in mathcal{G}, upreceq 0, v=0braceend{equation}

對于任意的(lambdainmathbb{R}^{m}), (
uinmathbb{R}^{p}), (xin D), 過點(p riangleq (f_{1}(x),...,f_{m}(x),h_{1}(x),...,h_{p}(x),f_{0}(x)))與向量((lambda,
u,1))垂直的超平面為：

[lambdacdot u+
ucdot v+t-L(x,lambda,
u)=0
]

該超平面在(t)軸上的截距正好就是Lagrange函數在((x,lambda,
u))處的取值！！！

由以上觀察我們容易得出(g(lambda,
u))的幾何意義：

(g(lambda,
u))是與((lambda,
u,1))垂直且與集合(mathcal{G})相交的超平面的t-截距的最小值!!!!,

（注意，“最小值”是不嚴謹的說法，其實應該是下確界，但是為了方便理解而這么將錯就錯，畢竟這里我們是形象描述！！！）

如上圖所示，在這里我們畫出了一個無等式約束條件，二維情形下對應的示意圖。如圖所示，(g(lambda)) 是以(-t)為斜率的一條直線在t軸上的截距。可以觀察到該直線要是繼續向下平移的話將不再和(mathcal{G})相交。同時我們注意到，當(lambdageq 0)時，(g(lambda)<p^{ast})，這時(gap)嚴格大于零， 這似乎時是因為由于(mathcal{G})的非凸性并且(mathcal{G})的右半部分，也就是(ugeq 0)部分的最低點比左半部分更低造成的。

為了研究方便，我們引入“上鏡圖”（Epigrah）的概念。我們定義集合：

egin{equation}mathcal{A}=lbrace p+ (u,0,t)in mathbb{R}^{{m} imesmathbb{R}}{p} imesmathbb{R}mid pin mathcal{G}, uin mathbb{R}^{m},usucceq 0, tin mathbb{R}, tgeq 0braceend{equation}
并稱之為最優化問題(1)的上鏡圖（Epigrah)。容易看出，上鏡圖是由(mathcal{G})的一系列正向平移所構成。

如圖所示，我們這里畫出了和上圖情形之下的上鏡圖(mathcal{A})的示意圖。我們容易驗證如下的性質：

定理：如果原問題(1)是一個凸優化問題，存在( ilde{x}in ext{relint} D) 使得：(f_{i}( ilde{x})<0), 對任意的(i=1,...,m), 則原問題和對偶問題是強對偶的。

證明：
我們不妨假設仿射函數：
(h_{i}(x)=sum_{j=1}^{n}a_{ij}x_{j}+b_{i}), 且矩陣(A=(a_{ij}))滿足(rank(A)=p),否則我們可以進一步減少等式約束條件的數量，得到等價的凸優化問題，而(d^{ast})保持不變。

我們令集合：

[mathcal{B}=lbrace (u,0,t)in mathbb{R}^{m} imesmathbb{R}^{p} imesmathbb{R}mid upreceq 0,t<p^{ast} brace$$,
此時$mathcal{B}$與上鏡集$mathcal{A}$交集為空，它們均為凸集。于是由凸集分離定理，存在超平面分離兩集合，也就是存在著$(lambda_{0},
u_{0},t_{0})
eq 0inmathbb{R}^{m} imesmathbb{R}^{p} imesmathbb{R}$以及$binmathbb{R}$使得：
對任意的$xin D$, $xi in mathbb{R}_{+}^{m}$和$tinmathbb{R}_{+}$：
egin{equation}sum_{i=1}^{m}lambda_{0,i}(f_{i}(x)+xi_{i})+sum_{i=1}^{p}v_{0,i}h_{i}(x)+t_{0}(f_{0}(x)+t)geq bend{equation}
且對任意的$uin mathbb{R}^{m}$,$upreceq 0$, $t<p^{ast}$:
egin{equation}lambda_{0}cdot u+t_{0}tleq bend{equation}
由（9）中的任意性我們立即可以知道$lambda_{0}succeq 0$,$t_{0}geq 0$, 這時我們令(10)中$uightarrow 0$,$tightarrow p^{ast}$，可以知：$t_{0}p^{ast}leq b$，于是我們再結合（9）可知對任意$xin D$：
egin{equation}sum_{i=1}^{m}lambda_{0,i}f_{i}(x)+sum_{i=1}^{p}v_{0,i}h_{i}(x)+t_{0}f_{0}(x)geq t_{0}p^{ast}.end{equation}
我們注意到，如果這時候$t_{0}>0$則上式兩邊同時除以$t_{0}$我們立即得到對任意的$xin D$：
$$L(x,lambda_{0}/t_{0},
u_{0}/t_{0})geq p^{ast},]

這時我們立即得到：
(g(lambda_{0}/t_{0},
u_{0}/t_{0})geq p^{ast}), 于是強對偶成立。