0.導(dǎo)語

學(xué)習(xí)AI建議掌握的數(shù)學(xué)資料：

數(shù)學(xué)分析（微積分），線性代數(shù)，概率論，統(tǒng)計(jì)，應(yīng)用統(tǒng)計(jì)，數(shù)值分析，常微分方程，偏微分方程，數(shù)值偏微分方程，運(yùn)籌學(xué)，離散數(shù)學(xué)，隨機(jī)過程，隨機(jī)偏微分方程，抽象代數(shù)，實(shí)變函數(shù)，泛函分析，復(fù)變函數(shù)，數(shù)學(xué)建模，拓?fù)?#xff0c;微分幾何，漸近分析......

可以勸退了……

其實(shí)，絕大部分AI愛好者，對(duì)數(shù)學(xué)的要求沒有那么高，只需要學(xué)習(xí)高等數(shù)學(xué)、線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)三門課，如果時(shí)間還不夠，那看下本文我整理的必須掌握的部分。看不懂公式的時(shí)候，可以查下本文，大部分能找到是什么意思。

我最近在編寫AI基礎(chǔ)系列，數(shù)學(xué)是所有的基礎(chǔ)。可以說，數(shù)學(xué)基礎(chǔ)是機(jī)器學(xué)習(xí)從業(yè)人員的天花板。博士的代碼能力，不一定比碩士強(qiáng)，但數(shù)學(xué)基礎(chǔ)，往往要比碩士扎實(shí)很多。為什么機(jī)器學(xué)習(xí)從業(yè)人員學(xué)歷越高，往往工資越高，通常和掌握的基礎(chǔ)知識(shí)正相關(guān)。有時(shí)間，一定要認(rèn)真打基礎(chǔ)！！（黃海廣）

目前已經(jīng)發(fā)布：

AI 基礎(chǔ)：Python開發(fā)環(huán)境設(shè)置和小技巧

AI 基礎(chǔ)：Python 簡(jiǎn)易入門

AI 基礎(chǔ)：Numpy 簡(jiǎn)易入門

AI 基礎(chǔ)：Pandas 簡(jiǎn)易入門

AI 基礎(chǔ)：Scipy(科學(xué)計(jì)算庫) 簡(jiǎn)易入門

AI基礎(chǔ)：數(shù)據(jù)可視化簡(jiǎn)易入門（matplotlib和seaborn）

AI基礎(chǔ)：特征工程-類別特征

AI基礎(chǔ)：特征工程-數(shù)字特征處理

AI基礎(chǔ)：特征工程-文本特征處理

AI基礎(chǔ)：詞嵌入基礎(chǔ)和Word2Vec

AI基礎(chǔ)：圖解Transformer

AI基礎(chǔ)：一文看懂BERT

后續(xù)持續(xù)更新

本文節(jié)選自我的github里的內(nèi)容，基本滿足要求了，如果完整資料也可以在github下載：

https://github.com/fengdu78/Data-Science-Notes

高等數(shù)學(xué)

必須掌握導(dǎo)數(shù)和微分的概念

導(dǎo)數(shù)和微分的概念

? ? （1）

或者：

? ? ? ? ? ?（2）

四則運(yùn)算法則

設(shè)函數(shù)，]在點(diǎn)可導(dǎo)則：

(1)?

(2)

基本導(dǎo)數(shù)與微分表

(1)?（常數(shù)）

(2)?(為實(shí)數(shù))

(3)?

特例: ??

(4)?

特例:

(5)?

復(fù)合函數(shù)，反函數(shù)，隱函數(shù)以及參數(shù)方程所確定的函數(shù)的微分法

(1) 反函數(shù)的運(yùn)算法則:

設(shè)在點(diǎn)的某鄰域內(nèi)單調(diào)連續(xù)，在點(diǎn)處可導(dǎo)且，則其反函數(shù)在點(diǎn)所對(duì)應(yīng)的處可導(dǎo)，并且有

(2) 復(fù)合函數(shù)的運(yùn)算法則:

若在點(diǎn)可導(dǎo),而在對(duì)應(yīng)點(diǎn)()可導(dǎo),則復(fù)合函數(shù)在點(diǎn)可導(dǎo),且

(3) 隱函數(shù)導(dǎo)數(shù)的求法一般有三種方法：

1)方程兩邊對(duì)求導(dǎo)，要記住是的函數(shù)，則的函數(shù)是的復(fù)合函數(shù).例如，，，等均是的復(fù)合函數(shù).

對(duì)求導(dǎo)應(yīng)按復(fù)合函數(shù)連鎖法則做.

2)公式法.由知?,其中，，?分別表示對(duì)和的偏導(dǎo)數(shù)

3)利用微分形式不變性

泰勒公式

設(shè)函數(shù)在點(diǎn)處的某鄰域內(nèi)具有階導(dǎo)數(shù)，則對(duì)該鄰域內(nèi)異于的任意點(diǎn)，在與之間至少存在 一個(gè)，使得：???其中?稱為在點(diǎn)處的階泰勒余項(xiàng)。

令，則階泰勒公式?……(1)

其中?，在0與之間.(1)式稱為麥克勞林公式

常用五種函數(shù)在處的泰勒公式

(1)?

或?

(2)?

或 ?

(3)?

或 ??

(4)?

或 ? ? ?

(5)??

或??

線性代數(shù)

矩陣

矩陣：個(gè)數(shù)排成行列的表格?稱為矩陣，簡(jiǎn)記為，或者?。若，則稱是階矩陣或階方陣。

矩陣的線性運(yùn)算

1.矩陣的加法

設(shè)是兩個(gè)矩陣，則?矩陣稱為矩陣與的和，記為?。

2.矩陣的數(shù)乘

設(shè)是矩陣，是一個(gè)常數(shù)，則矩陣稱為數(shù)與矩陣的數(shù)乘，記為。

3.矩陣的乘法

設(shè)是矩陣，是矩陣，那么矩陣，其中稱為的乘積，記為?。

4.?、、三者之間的關(guān)系

(1)?

(2)?

但?不一定成立。

(3)?，?

但不一定成立。

(4)?

5.有關(guān)矩陣秩的結(jié)論

(1) 秩=行秩=列秩；

(2)?

(3)?；

(4)?

(5) 初等變換不改變矩陣的秩

(6)?特別若?則：

(7) 若存在?若存在?

若?若。

(8)?只有零解

向量

1.有關(guān)向量組的線性表示

(1)線性相關(guān)至少有一個(gè)向量可以用其余向量線性表示。

(2)線性無關(guān)，，線性相關(guān)可以由唯一線性表示。

(3)?可以由線性表示??。

2.有關(guān)向量組的線性相關(guān)性

(1)部分相關(guān)，整體相關(guān)；整體無關(guān)，部分無關(guān).

(2) ①?個(gè)維向量?線性無關(guān)，?個(gè)維向量線性相關(guān)??。

②?個(gè)維向量線性相關(guān)。

③ 若線性無關(guān)，則添加分量后仍線性無關(guān)；或一組向量線性相關(guān)，去掉某些分量后仍線性相關(guān)。

3.有關(guān)向量組的線性表示

(1)?線性相關(guān)至少有一個(gè)向量可以用其余向量線性表示。

(2)?線性無關(guān)，，線性相關(guān)?可以由唯一線性表示。

(3)?可以由線性表示?

4.向量組的秩與矩陣的秩之間的關(guān)系

設(shè)，則的秩與的行列向量組的線性相關(guān)性關(guān)系為：

(1) 若，則的行向量組線性無關(guān)。

(2) 若，則的行向量組線性相關(guān)。

(3) 若，則的列向量組線性無關(guān)。

(4) 若，則的列向量組線性相關(guān)。

5.維向量空間的基變換公式及過渡矩陣

若與是向量空間的兩組基，則基變換公式為：

其中是可逆矩陣，稱為由基到基的過渡矩陣。

6.坐標(biāo)變換公式

若向量在基與基的坐標(biāo)分別是?，

?即：?，則向量坐標(biāo)變換公式為?或，其中是從基到基的過渡矩陣。

7.向量的內(nèi)積

概率論和數(shù)理統(tǒng)計(jì)

1.事件的關(guān)系與運(yùn)算

(1) 子事件：，若發(fā)生，則發(fā)生。

(2) 相等事件：，即，且?。

(3) 和事件：（或），與中至少有一個(gè)發(fā)生。

(4) 差事件：，發(fā)生但不發(fā)生。

(5) 積事件：（或），與同時(shí)發(fā)生。

(6) 互斥事件（互不相容）：=。

(7) 互逆事件（對(duì)立事件）：?

2.運(yùn)算律

(1) 交換律：

(2) 結(jié)合律：

(3) 分配律：

3.德摩根律

4.完全事件組

兩兩互斥，且和事件為必然事件，即

5.概率的基本公式

(1)條件概率:

,表示發(fā)生的條件下，發(fā)生的概率。

(2)全概率公式：

(3) Bayes公式：

?注：上述公式中事件的個(gè)數(shù)可為可列個(gè)。

(4)乘法公式：

?

6.事件的獨(dú)立性

(1)與相互獨(dú)立

(2)，，兩兩獨(dú)立

;?;;

(3)，，相互獨(dú)立

;
??;?? ; ??

7.獨(dú)立重復(fù)試驗(yàn)

將某試驗(yàn)獨(dú)立重復(fù)次，若每次實(shí)驗(yàn)中事件A發(fā)生的概率為，則次試驗(yàn)中發(fā)生次的概率為：?

8.重要公式與結(jié)論

?

?

(5)條件概率滿足概率的所有性質(zhì)，

例如：

(6)若相互獨(dú)立，則?

(7)互斥、互逆與獨(dú)立性之間的關(guān)系：

與互逆?與互斥，但反之不成立，與互斥（或互逆）且均非零概率事件與不獨(dú)立.

(8)若相互獨(dú)立，則與也相互獨(dú)立，其中分別表示對(duì)相應(yīng)事件做任意事件運(yùn)算后所得的事件，另外，概率為1（或0）的事件與任何事件相互獨(dú)立。

機(jī)器學(xué)習(xí)的常見推導(dǎo)

邏輯回歸

邏輯回歸代價(jià)函數(shù)：

即：?

推導(dǎo)過程：

考慮：

則：

所以：

?

注：雖然得到的梯度下降算法表面上看上去與線性回歸的梯度下降算法一樣，但是這里的與線性回歸中不同，所以實(shí)際上是不一樣的。另外，在運(yùn)行梯度下降算法之前，進(jìn)行特征縮放依舊是非常必要的。

最小二乘法

需要用到的性質(zhì)：

• ?(如果是對(duì)稱陣)

• ? (如果是對(duì)稱陣)

假設(shè)我們得到矩陣（為了簡(jiǎn)單起見，我們假設(shè)是滿秩）和向量，從而使。在這種情況下，我們將無法找到向量，由于，因此我們想要找到一個(gè)向量，使得盡可能接近?，用歐幾里德范數(shù)的平方來衡量。

使用公式“，我們可以得到：

根據(jù)的梯度，并利用上面推導(dǎo)的性質(zhì)：

將最后一個(gè)表達(dá)式設(shè)置為零，然后解出，得到了正規(guī)方程：

結(jié)語

本文節(jié)選自我的github里的內(nèi)容，基本能滿足要求了，如果需要完整資料可以在我的github下載：

https://github.com/fengdu78/Data-Science-Notes

備注：公眾號(hào)菜單包含了整理了一本AI小抄，非常適合在通勤路上用學(xué)習(xí)。

往期精彩回顧 那些年做的學(xué)術(shù)公益-你不是一個(gè)人在戰(zhàn)斗適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)在線手冊(cè)備注：加入本站微信群或者qq群，請(qǐng)回復(fù)“加群”加入知識(shí)星球（4500+用戶，ID：92416895），請(qǐng)回復(fù)“知識(shí)星球”

喜歡文章，點(diǎn)個(gè)在看

總結(jié)

以上是生活随笔為你收集整理的AI基础：简易数学入门的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。