向量的范数
有時我們需要衡量一個向量的大小,這機器學習中,我們經常使用范數來衡量向量大小。LpL^pLp范數定義為:
∥x∥p=(∑i∣xi∣p)1p\|x\|_p=(\sum_i|x_i|^p)^{\frac{1}{p}} ∥x∥p?=(i∑?∣xi?∣p)p1?
其中p∈R,p?1p \in R,p \geqslant 1p∈R,p?1
我們討論幾個特殊的范數。
L2L^2L2范數又被稱為歐幾里得范數,表示從原點出發到向量xxx確定的點的歐幾里得距離。L2L^2L2范數在機器學習中出現的非常的多,經常簡化表示為∥x∥\|x\|∥x∥。
L2L^2L2范數的平方也經常使用,它的計算更為方便。
在某些機器學習應用中,區分元素是0還是非0小值非常重要,這時候我們會使用L1L^1L1,即
∥x∥1=∑i∣xi∣\|x\|_1 = \sum_i|x_i| ∥x∥1?=i∑?∣xi?∣
有時候我們會統計向量中非0元素的個數來衡量元素的大小,有些人將這種函數稱為L0L^0L0范數。
還有一個在機器學習種經常出現的范數為L∞L^ \inftyL∞范數,也成為max范數,它表示向量中具有最大幅度的元素的絕對值:
∥x∥∞=max?i∣xi∣\|x\|_\infty = \max_i|x_i| ∥x∥∞?=imax?∣xi?∣
有時候,我們需要衡量矩陣的大小,最常用的是Frobenius范數:
∥A∥F=∑ijAi,j2\|A\|_F = \sqrt{\sum_{ij}A_{i,j}^2} ∥A∥F?=ij∑?Ai,j2??
總結
- 上一篇: 机器学习中的向量
- 下一篇: 特征分解与奇异值分解