Subgradients 次梯度
S. Boyd and L. Vandenberghe
Notes for EE364b, Stanford University, Winter 2006-07
April 13, 2008

1 定義
我們稱一個矢量g∈Rn是函數f:Rn→R在x∈domf處的次梯度，如果對于所有的z∈domf滿足：

f(z)≥f(x)+gT(z?x)(1)
如果f是凸函數，并且可微，那么該函數在x處的梯度是一個此梯度。但是當函數f不可微時，也可能存在次梯度，如圖1.同樣的例子表明函數f在點x存在不止一個次梯度。
可以通過幾個不同的方式來解釋次梯度。如果仿射函數(關于z)f(x)+gT(z?x)是函數f的全局下界(underestimator)，那么矢量g是函數f的一個次梯度。從幾何上講，如果(g,-1)在(x,f(x))處支持撐epi，那么g是函數f在x處的次梯度，如圖2所示。
如果函數f在x處，至少存在一個次微分，那么我們稱函數f在x處可次微的(subdifferentiable)。函數f在點x處的次梯度的集合成為函數f在x處的次微分（subdifferential)，用?f(x)表示。如果函數f在其定義域內的每一點都次微分，那么我們稱函數是可次微分的。

例子：絕對值。考慮f(z)=|z|。對于所有的x<0，次微分是唯一的:?f(x)]={?1}.類似的，對于x>0，我們有?f(x)={1}.在x=0處，次微分定義為，對于所有的z，滿足不等式：

|z|≥gz
我們通過上面的不等式，求解g的取值范圍。當z>0時，z≥gz，g≤1.當z<0時，?z≥gz，?1≤g。因此,for all z,?1≤g≤1。因此： ?f(0)=[?1,1]，如圖3.

2 基本屬性

即使f不是凸函數，其次梯度?f(x)總是閉凸集。這是因為，其是無限個半空間構成的集合的交集：

?f(x)=?z∈domf{g|f(z)≥f(x)+gT(z?x)}

圖1：在x1處，凸函數f是可微的，并且g1（即函數f在x1處的偏導數）是在x1處的唯一次梯度。在點x2處，函數不可微，并且在該點處，函數f有很多次梯度：圖中演示了g2,g3兩個次梯度。

圖2：當且僅當(g,-1)定義了上鏡圖f在(x,f(x))處的一個支撐超平面，那么矢量g∈Rn是函數f在x處的一個次梯度。

圖3：絕對值函數(左），它的次微分?f(x)是關于x的函數(右）。

2.1 次梯度的存在性

如果f是凸函數，并且x∈int?domf,那么函數的次微分?f(x)存在，并且有界。
為了證明?f(x)≠?,我們在上鏡圖凸集的邊界點(x,f(x))上應用超平面理論，得到如下的結論：
存在a∈Rn，b∈R，不全為0，滿足：

[ab]T([zt]?[xf(x)])=aT(z?x)+b(t?f(x))≤0
對于all (z,t)∈epif .
這意味著b≤0，并且對于所有的z滿足：
aT(z?x)+b(f(z)?f(x))≤0
如果b≠0，除以b，我們得到：
f(z)≥f(x)?(a/b)T(z?x)
這表明，?a/b∈?f(x)。現在我們證明b≠0，也就是說超平面不能是垂直的。證明方法為，先假定成立，然后推出矛盾。如果b=0，我們可以得到,對于所有的z∈domf，aT(z?x)≤0,然而這是不可能的，因為x∈domf
上面的討論表明，如果一個凸函數的上鏡圖epif在(x,f(x))處，至少存在一個非垂直的支撐超平面，那么該函數在x處，存在一個次梯度。例如，如果函數連續，則滿足該情況。存在一些病態的凸函數，它們在一些點處不存在次梯度，但是在后續的文章中，我們假定所有的凸函數是可次微分的（在 dom f中的每一點）

2.2 可微函數的次梯度

如果f是凸函數，并且在x處可微，那么?f(x)={▽f(x)}，也就是說梯度是它唯一的次梯度。相反地，如果f是凸函數，并且?f(x)={g},那么函數f在x處可微，并且g=▽f(x)

2.3 非可微函數的最小值

一個點x*，當且僅當凸函數f在該點處可次微分，并且0∈?f(x?)時，該點是函數f的最小值點。
也就是說，g=0是函數f在x*處的一個次梯度。我們可以直接通過:對于x∈domf，f(x)≥f(x?)推斷得到。
如果函數f在點x*處是可微的，條件0∈?f(x?)降為 ▽f(x?)=0

次梯度的微分

本節，我們描述構造凸函數次梯度的規則。我們將區分兩種不同等級的細節。在次梯度的“弱”微分中，即使存在更多的次梯度，目標也只是產生一個次梯度。這在實際應用中已經足夠了，因為次梯度，定位(localization)，切平面方法僅需要任意點一個次梯度。
另外一個更加困難的任務是將次梯度?f(x)的完備集描述為關于x的函數，我們稱這個為次梯度的“強”微分。其在理論性的研究中很重要，例如，當描述精確的最優條件時。

3.1 非負縮放

對于α≥0,?(αf)(x)=α?f(x)

和and 積分

假定f=f1+...+fm，其中f1,...,fm是凸函數，那么我們有：

?f(x)=?f1(x)+...+?fm(x)
這個屬性（性質）可以擴展到無限和，積分和期望（如果存在的話)

3.3 定義域上的仿射轉換

Affine transformations of domain
假定函數f是凸函數，令h(x)=f(Ax+b),那么?h(x)=AT?f(Ax+b)

3.4逐點最大

假定f是一組凸函數f1,...,fm的的逐點最大：

f(x)=maxi=1,...,mfi(x)
其中函數fi是可次微分的。我們首先展示如何構造函數f在x處的一個次梯度。
令k表示任意的索引，其滿足fk(x)=f(x)，也就是說我們波動的選擇k，使得fk(x)=f(x)，并且，我們令g∈?fk(x)，那么g∈?f(x),換句話說，為了找到這些函數中最大值的梯度，我們選擇其中一個在該點處達到最大值的函數，并且選擇該函數在該點處的任意一個次梯度，滿足：
f(z)≥fk(z)≥fk(x)+gT(z?x)=f(x)+gT(z?x)

理解：第一個不等式f(z)≥fk(z)是很顯然的，因為f(x)是所有函數的最大值，第二項和第三項對應的不等式，由凸函數的性質得到。最后一個等式，因為我們的前提條件是選擇的k滿足fk(x)=f(x)

更一般地，我們有：

?f(x)=Co∪{?fi(x)|fi(x)=f(x)}

理解：對于任意的x，我們找到某個k，滿足fk(x)=f(x)，然后求解?fk(x)作為?f(x)

?f(x)=Co{∪{?fi(x)|fi(x)=f(x)}}

也就說這些函數的最大值的次梯度是在x點處，”活躍”的函數的并集的凸包。

例子：可微分函數的最大值。假定f(x)=maxi=1,...,mfi(x),其中fi是凸函數并且可微，那么我有：

?f(x)=Co{▽fi(x)|fi(x)=f(x)}

在一個點，只有一個函數fk是“活躍”的，那么f是可微的，并且梯度為▽fk(x)。如果在一個點，多個函數是“活躍“，那么?f(x)是一個多面體。

例子：l1?norm。表示為：

f(x)=||x||1=|x1|+...+|xn|
是一個關于x的不可微的凸函數。目的是找到該函數的次梯度，我們注意到f可以表示為2n個線性函數的最大值：
||x||1=max{sTx|si∈{?1,1}}
我們可以應用最大值梯度的規則。第一步確定“活躍”函數sTx，也就是說，找到一個s∈{?1,+1}n，滿足sTx=||x||1。如果xi>0，我們選擇si=+1，如果xi<0，我們選擇si=?1。如果xi=0，不止一函數是“活躍”的，此時,si=+1,si=?1都是有效的。函數sTx是可微的，并且有唯一的次梯度s。因此，我們可以取:
gi=?????+1?1?1?or+1xi>0xi<0xi=0
所有次梯度的凸包形成次微分，其可以表示為下面的形式：
?f(x)={g|||g||∞≤1,gTx=||x||1}

3.5上確界

接下來，我們考慮擴展到無限個函數的上確界，也就是說，我們考慮:

f(x)=supα∈Afα(x)
其中函數falpha可次微分的。我們在這里僅考慮弱屬性。
假定可以達到f(x)定義中的上確界。令β∈A是滿足fβ=f(x)的索引，我們令g∈?fβ(x)，那么g∈?f(x).如果定義中的上確界不能達到，函數f在x處可能可次微分也可能不可以次微分，這取決于索引集A。
然而，如果我們假定A是緊湊的（采用某個度量），并且函數α→fα(x)對于每個x是上半連續的。那么：
?f(x)=Co∪{?fα(x)|fα(x)=f(x)}
例子：對稱矩陣的最大特征值。令f(x)=λmax(A(x))，其中A(x)=A0+x1A1+...+xnAn，并且Ai∈Am，我們可以將f表示為凸函數的逐點上確界：
f(x)=λmax(A(x))=sup||y||2=1yTA(x)y
這里，索引集A是A={y∈Rn|?||y||2=1}
固定y，每一個函數fy(x)=yTA(x)y是x的仿射函數，可以通過下面的展開形式很容易看出:
yTA(x)y=yTA0y+x1yTA1y+...+xnyTAny
因此函數fy(x)是可微的，并且梯度為:▽fy(x)=(yTA1y,...,yTAny).
活躍函數yTA(x)y是對應最大特征值的特征矢量y的活躍函數。因此，為了找到次梯度，我們即使特征值λmax對應的特征向量，并且規范化為1，并且取：
g=(yTA1y,yTA2y,...,yTAny)
在這個例子中的索引集是{y|?||y||=1}是一個緊湊的集，因此：
?f(x)=Co{▽fy|A(x)y=λmax(A(x))y,||y||=1}

3.6 關于一些變量的最小化

Minimization over some variable
次梯度的微分規則應用于下面的函數形式：

f(x)=infxF(x,y)
其中F(x,y)是可微分的，并且是關于x和y的聯合凸函數，在這里我們也僅討論弱屬性。
假定，針對某個x^，在上面的f(x^)定義中關于y的下確界，在y=y^處達到，也就是說,f(x^)=F(x^,y^)并且對于所有的x,F(x,y^)≥F(x^,y^)。那么存在一個g滿足(g,0)∈?F(x^,y^),并且，這樣的任何一個g是函數f在x^處的一個次梯度。
強屬性(strong property)。令x2滿足f(x1)=infx2F(x1,x2)，那么?f(x1)={g1|(g1,0)∈?F(x1,x2)}（并且，得到次微分獨立于x2的選擇。

3.7 一個凸優化問題的最優值函數

Optimal value function of a convex optimization problem
假定f:Rm×Rp→定義為標準形式的凸優化問題的最優值，z∈Rn是優化變量：

minimizef0(z)
subject tofi(z)≤xi,i=1,...,m(2)
Az=y
換句話說，f(x,y)=infzF(x,y,z)，其中：
F(x,yz)={+∞?∞fi(z)≤xi,i=1,...,m,Az=yotherwise
其中函數F是關于x,y,z上的聯合凸函數。f的次梯度與下面的公式(2)的對偶問題有關。
假定，我們對函數f在(x^,y^)處的次微分感興趣，我們可以將公式(2)的對偶問題表示為：
maximize?g(λ)?xTλ?gTv
subject to?λ≥0
其中:
g(λ)=infz(f0(z)+∑i=1mλifi(z)+vTAz)
假定問題(2)和(3)在x=x^?and?y=y^處滿足強對偶，并且在λ?,v?處，達到對偶最優值（例如，因為Slater條件滿足）。從全局不等式我們知道:
f(x,y)≥f(x^,y^)?λ?T(x?x^)?v?T(y?y^)
換句話說，對偶最優解提供了一個次梯度：
?(λ?,v?)∈?f(x^,y^)

轉載于:https://www.cnblogs.com/raby/p/5886692.html

總結

以上是生活随笔為你收集整理的01-subgradients_notes的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。