一、GPU和CPU

? ? CPU:中央處理器（英文Central Processing Unit）是一臺計算機的運算核心和控制核心。CPU、內部存儲器和輸入/輸出設備是電子計算機三大核心部件。其功能主要是解釋計算機指令以及處理計算機軟件中的數據。?

? ? ?GPU:英文全稱Graphic Processing Unit，中文翻譯為“圖形處理器”。一個專門的圖形核心處理器。GPU是顯示卡的“大腦”，決定了該顯卡的檔次和大部分性能，同時也是2D顯示卡和3D顯示卡的區別依據。

? ?CPU需要很強的通用性來處理各種不同的數據類型，同時又要邏輯判斷又會引入大量的分支跳轉和中斷的處理。這些都使得CPU的內部結構異常復雜。而GPU面對的則是類型高度統一的、相互無依賴的大規模數據和不需要被打斷的純凈的計算環境。

二、決定神經網絡的運行速度

? ? ?1、從參數和模型的大小方面考慮這是影響網絡模型訓練速度的關鍵因素。

? ? ?2、內存訪問成本。在參數和模型大小基本相同的同時還有其他因素會影響訓練的速度。中間特征映射訪問內存所需的內存訪問成本就成了消耗的關鍵因素。

三、閱讀“An Energy and GPU-Computation Efficient Backbone Networkfor Real-Time Object Detection”

? ? ? ?這篇文章主要講述對DenseNet網絡的改進，構建了新的網絡模型VoVNet。該網絡在效率上對應于原主干網絡有了很大的提高。

圖a為DenseNet網絡結構圖，該網絡在參數和模型大小方面小于ResNet但在運行效率方面卻不如ResNet，主要由于DenseNet網絡把上一層的特征圖與下一層的特征圖在維度上進行累加，這樣雖然提高了網絡提取特征的能力但會導致內存訪問成本隨網絡深度呈二次增長，進而導致計算開銷和更多能耗。

?

圖b為VoVNet網絡結構，它可以一次聚合中間特征，這種聚合方法在保持連接強度的同時，極大地提高了媒體訪問控制和圖形處理器的計算效率。

?表格1為VoVNet的網絡結構圖

表2為與其他模型作比較

?

總結

以上是生活随笔為你收集整理的影响神经网络训练速度的因素的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。