1，凸函數(shù)和凸集合，

凸函數(shù)，例如 y=X^2, 定義為：

λ*f（x1）+（1-λ)*f（x2）>= f(λx1+（1-λ)x2)

?凸集合： 指 在一個集合處，上面任意兩點連線都在集合內。

?性質：

對于一元函數(shù)f(x)，我們可以通過其二階導數(shù)f′′(x)?的符號來判斷。如果函數(shù)的二階導數(shù)總是非負，即f′′(x)≥0 ，則f(x)是凸函數(shù)

　對于多元函數(shù)f(X)，我們可以通過其Hessian矩陣（Hessian矩陣是由多元函數(shù)的二階導數(shù)組成的方陣）的正定性來判斷。如果Hessian矩陣是半正定矩陣，則是f(X)凸函數(shù)、

?2，KL距離

定義 即 Kullback-Leibler Divergence，可翻譯為相對熵，衡量事件空間里的兩個概率分布的差異情況，所以可以用來做匹配的評價函數(shù)，

D(P∣∣Q)=x∈X∑?P(x)logP(x)?/Q(x) 即，具有如下性質：

當P(x)=Q(x)時，D(P||Q)=0,即其相對熵為零。

當P(x)和Q(x)相似度越高時，KL距離越小

D(P||Q)非負（非負性）

不滿足對稱性，即D(P||Q)≠D(Q||P)

不滿足三角不等式

總結

以上是生活随笔為你收集整理的笔记 -凸函数 /KL距离的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。