DL：深度學習(神經(jīng)網(wǎng)絡(luò))的簡介、基礎(chǔ)知識(神經(jīng)元/感知機、訓(xùn)練策略、預(yù)測原理)、算法分類、經(jīng)典案例應(yīng)用之詳細攻略

?

目錄

深度學習(神經(jīng)網(wǎng)絡(luò))的簡介

1、深度學習浪潮興起的三大因素

深度學習(神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)知識(相關(guān)概念、訓(xùn)練策略)

1、神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識

2、神經(jīng)元的結(jié)構(gòu)

3、感知機

4、萬能逼近定理

5、神經(jīng)網(wǎng)絡(luò)訓(xùn)練

6、神經(jīng)網(wǎng)絡(luò)學習

7、神經(jīng)網(wǎng)絡(luò)的前饋運算與反向傳播

8、激活函數(shù)

深度學習(神經(jīng)網(wǎng)絡(luò))的算法分類

1、常用的神經(jīng)網(wǎng)絡(luò)模型概覽

深度學習(神經(jīng)網(wǎng)絡(luò))的經(jīng)典案例應(yīng)用

---

?

?

深度學習(神經(jīng)網(wǎng)絡(luò))的簡介

? ? ? ?深度學習（Deep Learning, DL）或階層學習（hierarchical learning）是機器學習的技術(shù)和研究領(lǐng)域之一，通過建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（Artifitial Neural Networks, ANNs），在計算系統(tǒng)中實現(xiàn)人工智能 ?。由于階層ANN能夠?qū)斎胄畔⑦M行逐層提取和篩選，因此深度學習具有表征學習（representation learning）能力 ，可以實現(xiàn)端到端的監(jiān)督學習和非監(jiān)督學習 。此外，深度學習也可參與構(gòu)建強化學習（reinforcement learning）系統(tǒng)，形成深度強化學習 ?。

? ? ? ?深度學習所使用的階層ANN具有多種形態(tài)，其階層的復(fù)雜度被通稱為“深度” ?。按構(gòu)筑類型，深度學習的形式包括多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和其它混合構(gòu)筑 ?。深度學習使用數(shù)據(jù)對其構(gòu)筑中的參數(shù)進行更新以達成訓(xùn)練目標，該過程被通稱為“學習” ?。學習的常見方法為梯度下降算法及其變體 ，一些統(tǒng)計學習理論被用于學習過程的優(yōu)化 [9] ?。

? ? ? ? 在應(yīng)用方面，深度學習被用于對復(fù)雜結(jié)構(gòu)和大樣本的高維數(shù)據(jù)進行學習，按研究領(lǐng)域包括計算機視覺、自然語言處理、生物信息學、自動控制等，且在人像識別、機器翻譯、自動駕駛等現(xiàn)實問題中取得了成功。?

1、深度學習浪潮興起的三大因素

• 海量的數(shù)據(jù)
• 不斷提升的算法能力
• 高性能計算硬件的實現(xiàn)：GPU、TPU

?

?

深度學習(神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)知識(相關(guān)概念、訓(xùn)練策略)

? ? ? ?深度學習的實質(zhì)是構(gòu)建具有多個隱藏層的機器學習模型，通過海量的訓(xùn)練數(shù)據(jù)來學習更有用的特征，從而最終提升分類或預(yù)測的準確性。“深度模型”是手段，“表示學習”是目的。
? ? ? ?深度學習與傳統(tǒng)的淺層學習的不同在于：

• (1) 強調(diào)了模型結(jié)構(gòu)的深度，有2層以上的隱藏層；
• (2) 明確突出了表示學習的重要性。通過逐層特征變換，將樣本在原空間的特征表示變換到一個新的特征空間，使分類或預(yù)測更加容易。

DL之DNN優(yōu)化技術(shù)：神經(jīng)網(wǎng)絡(luò)算法簡介之GD/SGD算法的簡介、代碼實現(xiàn)、代碼調(diào)參之詳細攻略
DL之DNN：BP類神經(jīng)網(wǎng)絡(luò)理解之不需要額外任何文字，只需要八張圖講清楚BP類神經(jīng)網(wǎng)絡(luò)的工作原理

?

?

1、神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識

• 神經(jīng)元
• 感知機
• 激活函數(shù)：Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Softmax。
• 多層感知機：
• 萬能逼近定理：

?

2、神經(jīng)元的結(jié)構(gòu)

生物神經(jīng)元包括細胞體和突起兩個部分，突起又包括樹突(接收信號)和軸突(傳出信號)。

• 軸突記錄了神經(jīng)元間聯(lián)系的強弱。只有達到一定的興奮程度，神經(jīng)元才向外界傳輸信息。
• 神經(jīng)元之間的信號通過突觸傳遞。

3、感知機

DL之Perceptron：Perceptron感知器(感知機/多層感知機/人工神經(jīng)元)的簡介、原理、案例應(yīng)用(相關(guān)配圖)之詳細攻略

?

4、萬能逼近定理

?(Universal approximation theorem)

• 只需一個包含單個隱藏層的前饋神經(jīng)網(wǎng)絡(luò)，即可逼近任意一個連續(xù)函數(shù)。
• 盡管僅有一個隱藏層的前饋網(wǎng)絡(luò)足以表示任何函數(shù)，但是該隱藏層的神經(jīng)元數(shù)目可能非常多，從而導(dǎo)致網(wǎng)絡(luò)無法學習或正確泛化。

?

5、神經(jīng)網(wǎng)絡(luò)訓(xùn)練

(1)、損失函數(shù)：
平均損失函數(shù)
絕對值損失函數(shù)
交叉熵損失函數(shù)：softmax回歸，獨熱編碼。

(2)、優(yōu)化目標

(3)、梯度下降：

• 梯度下降批次訓(xùn)練策略：
  ?? ? ? ? ??批次梯度下降(Batch Gradient Descent)、
  ?? ? ? ? ??隨機梯度下降(Stochastic Gradient Descent)、
  ?? ? ? ? ??小批次梯度下降(Mini-batch Gradient Descent)、
  DL之DNN優(yōu)化技術(shù)：神經(jīng)網(wǎng)絡(luò)算法簡介之梯度下降算法(GD算法)中相關(guān)概念(方向?qū)?shù)/梯度)、目標函數(shù)、其他常見損失函數(shù)求梯度(求導(dǎo))案例之詳細攻略

?

• 梯度下降各種優(yōu)化算法：Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam

(4)、反向傳播法：計算圖解釋

?

1、神經(jīng)網(wǎng)絡(luò)訓(xùn)練的優(yōu)化目標

?

?

?

6、神經(jīng)網(wǎng)絡(luò)學習

(1)、通過調(diào)整神經(jīng)元的參數(shù)，使得網(wǎng)絡(luò)對給定輸入可產(chǎn)生期望輸出。

(2)、學習層次化的表示（表征）

? ? ?

?

7、神經(jīng)網(wǎng)絡(luò)的前饋運算與反向傳播

前饋運算和反向傳播：在訓(xùn)練網(wǎng)絡(luò)過程中所使用的。如果經(jīng)過訓(xùn)練模型，網(wǎng)絡(luò)穩(wěn)定下來以后，就可以把參數(shù)固定下來，此時就不再需要反向傳播了，只需要前饋運算進行推理和預(yù)測即可！
?

?

?

8、激活函數(shù)

DL學習—AF：理解機器學習中常用的激活函數(shù)(sigmoid、softmax等)簡介、應(yīng)用、計算圖實現(xiàn)、代碼實現(xiàn)詳細攻略

?

?

?

?

深度學習(神經(jīng)網(wǎng)絡(luò))的算法分類

? ? ? ? ?深度學習的形式包括多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和其它混合構(gòu)筑 ?。
?? ? ? ? ?前饋神經(jīng)網(wǎng)絡(luò)(NN)，而是和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的概念是相對的。而反向傳播方法可以用在FF網(wǎng)絡(luò)中，此時，基于反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)，被稱為BP神經(jīng)網(wǎng)絡(luò)。

1、常用的神經(jīng)網(wǎng)絡(luò)模型概覽

DL：神經(jīng)網(wǎng)絡(luò)所有模型(包括DNN、CNN、RNN等)的簡介(概覽)、網(wǎng)絡(luò)結(jié)構(gòu)簡介、使用場景對比之詳細攻略

1、DNN
DL之DNN：DNN深度神經(jīng)網(wǎng)絡(luò)算法的簡介、相關(guān)論文、設(shè)計思路、關(guān)鍵步驟、實現(xiàn)代碼等配圖集合之詳細攻略

2、CNN
DL之CNN：計算機視覺卷積神經(jīng)網(wǎng)絡(luò)算法CNN算法常見結(jié)構(gòu)、發(fā)展、CNN優(yōu)化技術(shù)、案例應(yīng)用之詳細攻略

3、RNN
DL之RNN：RNN算法的簡介、相關(guān)論文、相關(guān)思路、關(guān)鍵步驟、配圖集合+TF代碼定義之詳細攻略

4、DBN

?

?

?

深度學習(神經(jīng)網(wǎng)絡(luò))的經(jīng)典案例應(yīng)用

后期更新……

?

?

?

?

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。