2.1 標(biāo)量、向量、矩陣和張量

• 標(biāo)量(scalar)

一個(gè)標(biāo)量就是一個(gè)單獨(dú)的數(shù)，用斜體表示標(biāo)量。

• 向量(vector)

一個(gè)向量是一列有序排列的數(shù)，用粗寫(xiě)的小寫(xiě)字母表示。

• 矩陣(matrix)

矩陣式一個(gè)二維數(shù)組，其中的么一個(gè)元素由兩個(gè)索引(而非一個(gè))所確定，用粗體的大寫(xiě)字母表示。特別地， 表示 中垂直坐標(biāo) 上的一橫排元素，即 的第 行； 表示 的第 列。轉(zhuǎn)置(transpose)
矩陣的轉(zhuǎn)置是以主對(duì)角線為軸的鏡像。廣播(broadcasting) ，其中 ，即向量b和矩陣的每一行相加，這種操作稱(chēng)為廣播。

• 張量(tensor)

一般地，一個(gè)數(shù)組中的元素分布在若干維坐標(biāo)的規(guī)則網(wǎng)格中，稱(chēng)之為張量。使用A表示張量。

2.2 矩陣和向量相乘

，定義為 注意
(1) 兩個(gè)矩陣的標(biāo)準(zhǔn)乘積不是指兩個(gè)矩陣中對(duì)應(yīng)元素的乘積;
(2) 兩個(gè)向量的點(diǎn)積 可以看作矩陣的乘積 ;
(3) 兩個(gè)向量的點(diǎn)積滿足交換律： ;
(4) 分配律： ;
(5) 結(jié)合律： ;
(6) ;
(7) 不常有。

元素對(duì)應(yīng)乘積(element-wise product)或者Hadamard乘積(Hadamard product)。

2.3 單位矩陣和逆矩陣

• 單位矩陣(identity matrix)

任意向量和單位矩陣相乘都不會(huì)改變。

• 逆矩陣(matrix inversion)

的逆矩陣記為 ， 。
注意：
只有方陣才具有逆矩陣，否則叫偽逆。

2.4 線性相關(guān)和生成子空間

• 線性組合(linear combination)

理解 。
如果 存在，則對(duì)于每一個(gè)向量 恰好存在一個(gè)解。但對(duì)于方程組而言，對(duì)于 的某些值，可能不存在解，也可能存在無(wú)限多個(gè)解，若 和 都是某方程組的解，則 也是該方程組的解(為任意實(shí)數(shù))。
為了分析方程有多少個(gè)解，可以將 的列向量看作從原點(diǎn)(origin)(元素都是零的向量)出發(fā)的不同方向，確定有多少種方法能夠到達(dá)向量 。在這一觀點(diǎn)下，向量 中的每一個(gè)元素表示我們應(yīng)該沿著這些方向走多遠(yuǎn)，即 表示我們需要沿著第 個(gè)向量的方向走多遠(yuǎn):

• 生成子空間(span)

一組向量的線性組合，是指每個(gè)向量乘以對(duì)應(yīng)標(biāo)量系數(shù)之后的和，即:
確定 是否有解，相當(dāng)于確定向量 是否在 列向量的生成子空間中，這個(gè)特殊的子空間被稱(chēng)為 的列空間(column space)或者 的值域(range)。

• 線性相關(guān)和線性無(wú)關(guān)

如果一組向量中的任意一個(gè)向量能表示成其他向量的線性組合，則這組向量稱(chēng)為線性相關(guān)(linear dependence)，反之稱(chēng)為線性無(wú)關(guān)(linear dependence)。

• 奇異矩陣

列向量線性相關(guān)的矩陣稱(chēng)為奇異矩陣，否則稱(chēng)為非奇異矩陣。

2.5 范數(shù)

• 范數(shù)定義

，其中 ， 。

• 歐幾里德范數(shù)和 范數(shù)

歐幾里德范數(shù)：用于衡量向量的大小； 范數(shù)：當(dāng)機(jī)器學(xué)習(xí)中零和非零元素之間的差異非常重要時(shí)，通常會(huì)使用 范數(shù)。每當(dāng) 中某個(gè)元素從0增加 ，對(duì)應(yīng)的 范數(shù)也會(huì)增加 。

• Frobenius范數(shù)(Frobenius norm)

• 點(diǎn)積和范數(shù)

2.6 特殊類(lèi)型的矩陣和向量

• 對(duì)角矩陣(diagonal matrix)

并非所有的對(duì)角矩陣都為方陣，長(zhǎng)方形的矩陣也可能是對(duì)角陣，非方陣的對(duì)角矩陣沒(méi)有逆矩陣。對(duì)于長(zhǎng)方形對(duì)角陣 而言，乘法 涉及 中每個(gè)元素的縮放，若 為瘦長(zhǎng)形矩陣，那么縮放后的末尾加一些零，若 為胖寬形矩陣，那么在縮放后去掉最后一些元素。

• 對(duì)稱(chēng)矩陣(symmetric matrix)

• 單位向量(unit vector)

單位向量是具有單位范數(shù)的向量，即 。

• 正交(orthogonal)

標(biāo)準(zhǔn)正交： ，且 。

• 正交陣(orthogonal matrix)

，即 。

2.7 特征分解(eigendecomposition)

• 特征分解

與整數(shù)的分解進(jìn)行對(duì)比，整數(shù)分解是為了找整數(shù)內(nèi)在的性質(zhì)。可通過(guò)分解矩陣發(fā)現(xiàn)矩陣表示成數(shù)組元素時(shí)不明顯的函數(shù)性質(zhì)。 ，其中 是 的特征向量組成的正交矩陣， 是對(duì)角矩陣。特征值 對(duì)應(yīng)的特征向量是矩陣 的第 列，記作 。因?yàn)? 是正交矩陣，可以將 看作沿方向 延展 倍的空間。

• 正定(positive definite)

實(shí)對(duì)稱(chēng)矩陣的特征值分解可以用于優(yōu)化二次方程 ( )，其中限制 。當(dāng) 等于 的某個(gè)特征向量時(shí)， 將返回對(duì)應(yīng)的特征值。在限制條件下，函數(shù) 的最大值是最大特征值，最小值是最小特征值。
正定： ;
半正定： ;
負(fù)定： ;
半負(fù)定： ;

2.8 奇異值分解(SVD)

• 奇異值分解與特征分解

a、每一個(gè)實(shí)數(shù)矩陣都有一個(gè)奇異值分解，但不一定都有特征分解；
b、公式
特征分解：
奇異值分解：

2.9 Moore-Penrose偽逆

• 求偽逆

，其中 為SVD分解， 是對(duì)角矩陣 的偽逆，是其非零元素取倒數(shù)之后再轉(zhuǎn)置得到。
解的不同情形
a、A的列數(shù)多于行數(shù)
用偽逆求得的 是眾多可能解的一種， 是方程 的可行解中 最小的一個(gè)。
b、A的行數(shù)多于列數(shù)
可能沒(méi)有解。通過(guò)偽逆得到的 使得 和 的歐幾里德距離最小( 最小)，這里 。

2.10 跡運(yùn)算

• 定義

• Frobenius范數(shù)

• 性質(zhì)

; ; ;
標(biāo)量的跡為本身: ;

2.11 行列式

• 計(jì)算

行列式等于矩陣特征值的乘積
行列式的絕對(duì)值可以用來(lái)衡量舉證參與矩陣乘法后空間擴(kuò)大或縮小了多少。

2.12 PCA

設(shè) 空間中有m個(gè)點(diǎn) ，要壓縮這些點(diǎn)，用更少的內(nèi)存，損失一些精度去存儲(chǔ)這些點(diǎn)。并希望損失的精度盡可能少一些，編碼這些點(diǎn)是用低維表示，對(duì)于每個(gè)點(diǎn) ，會(huì)有一個(gè)對(duì)應(yīng)的編碼向量， , 則可以用更少的內(nèi)存存儲(chǔ)原數(shù)據(jù)。
目的：找到編碼函數(shù)，根輸入返回編碼 ，找到編碼函數(shù)，給定編碼重構(gòu)輸入 。為簡(jiǎn)化編碼器，使用矩陣將編碼映射會(huì) ，即： ，其中 是解碼矩陣，且 中所有列向量都有單位范數(shù)，即 ，且正交。
首先需要明確如何根據(jù)每一個(gè)輸入 得到一個(gè)最有編碼 。可以最小化原始輸入向量 和重構(gòu)向量 之間的距離。
用 范數(shù)：
用平方 范數(shù)代替 范數(shù):
因 ,故:
因 為標(biāo)量，故：
因 不依賴于 ，問(wèn)題轉(zhuǎn)化為： 。
因 ，則：
因 為正交矩陣，且其列向量有單位范數(shù)，即 ，則：
即求 的最小值
因 是非負(fù)的且平方在非負(fù)值上是單調(diào)的，因此可以通過(guò)向量微積分求最小值：
即編碼函數(shù)為：
定義PCA重構(gòu)操作：
推而廣之，需要最小化所有維數(shù)和所有點(diǎn)上的誤差矩陣的Frobenius范數(shù)：
當(dāng) 時(shí)， 為一個(gè)單一向量 ，則：
因?yàn)? 為標(biāo)量，等價(jià)于：
將表示個(gè)點(diǎn)的向量堆疊成一個(gè)矩陣，記為 ，其中 。原問(wèn)題可以重新表述為：
暫不考慮約束問(wèn)題，可以將Frobenius范數(shù)簡(jiǎn)化成下面的形式：
因?yàn)? ，上式等于:
因?yàn)榕c 無(wú)關(guān)的項(xiàng)不影響argmin，跡中相乘矩陣的順序不影響結(jié)果，上式等價(jià)于：
此時(shí)，再來(lái)考慮約束條件：
因?yàn)榧s束條件，上式等價(jià)于:
這個(gè)優(yōu)化問(wèn)題可以通過(guò)特征分解來(lái)求解，最優(yōu)的 是 最大特征值對(duì)應(yīng)的特征向量。
以上 的情況，得到了第一個(gè)主成。

總結(jié)

以上是生活随笔為你收集整理的线性分组码的最小汉明距为6_第二章 线性代数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。