將原模型中的卷積層（卷積核為5*5）全部替換成兩個3*3級聯的卷積層（就像VGG模型）訓練誤差一直為2.3不變

用局部連接而不是全連接，同時權值共享。

局部連接的概念參考局部感受域，即某個視神經元僅考慮某一個小區域的視覺輸入，因此相比普通神經網絡的全連接層（下一層的某一個神經元需要與前一層的所有節點連接），卷積網絡的某一個卷積層的所有節點只負責前層輸入的某一個區域（比如某個3*3的方塊）。

這樣一來需要訓練的權值數相比全連接而言會大大減少，進而減小對樣本空間大小的需求。權值共享的概念就是，某一隱藏層的所有神經元共用一組權值。這兩個概念對應卷積層的話，恰好就是某個固定的卷積核。

卷積核在圖像上滑動時每處在一個位置分別對應一個“局部連接”的神經元，同時因為“權值共享”的緣故，這些神經元的參數一致，正好對應同一個卷積核。

順便補充下，不同卷積核對應不同的特征，比如不同方向的邊（edge）就會分別對應不同的卷積核。

激活函數f(x)用ReLU的話避免了x過大梯度趨于0（比如用sigmoid）而影響訓練的權值的情況（即GradientVanishing）。同時結果會更稀疏一些。

池化之后（例如保留鄰域內最大或平均以舍棄一些信息）一定程度也壓制了過擬合的情況。

綜述總體來說就是重復卷積-relu來提取特征，進行池化之后再作更深層的特征提取，實質上深層卷積網絡的主要作用在于特征提取。

最后一層直接用softmax來分類（獲得一個介于0~1的值表達輸入屬于這一類別的概率）。

谷歌人工智能寫作項目：神經網絡偽原創

cnn訓練準確率很高，測試準確率很低（loss有一直下降）是為什么?

可能的原因：有可能是層數較少，可以嘗試增加卷積層；可能性不大A8U神經網絡。之前我有出現過類似的情況，數據本身質量太低，就算訓練層可以保證很高的準確率也沒有什么意義，此時已經過擬合了。

這種情況是沒有辦法的，因為你的數據本身就有問題，無解。

你可以嘗試用機器學習的方法提取特征值來驗證，如果此時準確率比CNN結果要好，那么就是你網絡本身的問題，如果準確率也很差，那就應該是你數據本身質量的問題。

高斯過程模型會過擬合嗎?

會的。

減少過擬合的方法：獲取更多數據：從數據源頭獲取更多數據；數據增強（DataAugmentation)?使用合適的模型：減少網絡的層數、神經元個數等均可以限制網絡的擬合能力?dropout，丟棄一些數據?正則化，在訓練的時候限制權值變大?限制訓練時間，earlystoptraining?增加噪聲Noise,例如高斯模糊數據清洗(datackeaning/Pruning)：將錯誤的label糾正或者刪除錯誤的數據?結合多種模型：用不同的模型擬合不同度、飽和度、對比度變化。

如何判斷卷積神經網絡是否過擬合

原則上RSquare值越高（越接近1），擬合性越好，自變量對因變量的解釋越充分。但最重要的是看sig值，小于0.05，達到顯著水平才有意義。

可以看回你spss的結果，對應regression的sig值如果是小于0.05的，就可以了。

卷積神經網絡訓練精度高,測試精度很低的原因

過擬合了，原因很多，解決方案也有很多。百度/谷歌搜索過擬合overfitting個人會優先嘗試減小網絡規模，比如層數、卷積濾波器個數、全連接層的單元數這些。

其他的比如Dropout，數據增強/擴充，正則，earlystop，batchnorm也都可以嘗試。

深度網絡中為何引入池化層？

減少大量的計算量。引入空間過濾器的層級結構，從而讓連續卷積層的觀察窗口變大，這樣可以更加充分地獲得信息。池化（Pooling）：也稱為欠采樣或下采樣。

主要用于特征降維，壓縮數據和參數的數量，減小過擬合，同時提高模型的容錯性。

主要有：MaxPooling：最大池化AveragePooling：平均池化MaxPooling：選取最大的，我們定義一個空間鄰域（比如，2*2的窗口），并從窗口內的修正特征圖中取出最大的元素，最大池化被證明效果更好一些。

AveragePooling：平均的，我們定義一個空間鄰域（比如，2*2的窗口），并從窗口內的修正特征圖中算出平均值。

輸出層（全連接層）經過前面若干次卷積+激勵+池化后，終于來到了輸出層，模型會將學到的一個高質量的特征圖片全連接層。其實在全連接層之前，如果神經元數目過大，學習能力強，有可能出現過擬合。

因此，可以引入dropout操作，來隨機刪除神經網絡中的部分神經元，來解決此問題。還可以進行局部歸一化（LRN）、數據增強等操作，來增加魯棒性。

當來到了全連接層之后，可以理解為一個簡單的多分類神經網絡（如：BP神經網絡），通過softmax函數得到最終的輸出。整個模型訓練完畢。

CNN中卷積層、池化層和全連接層分別有什么作用和區別？

如下：卷積層：提取特征。“不全連接，參數共享”的特點大大降低了網絡參數，保證了網絡的稀疏性，防止過擬合。之所以可以“參數共享”，是因為樣本存在局部相關的特性。

池化層：有MaxPool和AveragePool等。其中MaxPool應用廣泛。因為經過MaxPool可以減小卷積核的尺寸，同時又可以保留相應特征，所以主要用來降維。

全連接層：在全連接的過程中丟失位置信息，可以理解為降低了學習過程中的參數敏感度；很多分類問題需要通過softmax層進行輸出；進行非線性變換等等。但是現在已經有很多網絡結構去掉了最后的全連接層。

我也是入坑沒多久，對這一點理解仍很粗淺。

人工智能的原理是什么

人工智能的原理，簡單的形容就是：人工智能=數學計算。機器的智能程度，取決于“算法”。最初，人們發現用電路的開和關，可以表示1和0。

那么很多個電路組織在一起，不同的排列變化，就可以表示很多的事情，比如顏色、形狀、字母。再加上邏輯元件（三極管），就形成了“輸入（按開關按鈕）——計算（電流通過線路）——輸出（燈亮了）”這種模式。

想象家里的雙控開關。為了實現更復雜的計算，最終變成了，“大規模集成電路”——芯片。電路邏輯層層嵌套，層層封裝之后，我們改變電流狀態的方法，就變成了“編寫程序語言”。程序員就是干這個的。

程序員讓電腦怎么執行，它就怎么執行，整個流程都是被程序固定死的。所以，要讓電腦執行某項任務，程序員必須首先完全弄清楚任務的流程。就拿聯控電梯舉例：別小看這電梯，也挺“智能”呢。

考慮一下它需要做哪些判斷：上下方向、是否滿員、高峰時段、停止時間是否足夠、單雙樓層等等，需要提前想好所有的可能性，否則就要出bug。某種程度上說，是程序員控制了這個世界。

可總是這樣事必躬親，程序員太累了，你看他們加班都熬紅了眼睛。于是就想：能不能讓電腦自己學習，遇到問題自己解決呢？而我們只需要告訴它一套學習方法。

大家還記得1997年的時候，IBM用專門設計的計算機，下贏了國際象棋冠軍。

其實，它的辦法很笨——暴力計算，術語叫“窮舉”（實際上，為了節省算力，IBM人工替它修剪去了很多不必要的計算，比如那些明顯的蠢棋，并針對卡斯帕羅夫的風格做了優化）。

計算機把每一步棋的每一種下法全部算清楚，然后對比人類的比賽棋譜，找出最優解。一句話：大力出奇跡！但是到了圍棋這里，沒法再這樣窮舉了。力量再大，終有極限。

圍棋的可能性走法，遠超宇宙中全部原子之和（已知），即使用目前最牛逼的超算，也要算幾萬年。在量子計算機成熟之前，電子計算機幾無可能。

所以，程序員給阿爾法狗多加了一層算法：A、先計算：哪里需要計算，哪里需要忽略。B、然后，有針對性地計算。——本質上，還是計算。哪有什么“感知”！在A步，它該如何判斷“哪里需要計算”呢？

這就是“人工智能”的核心問題了：“學習”的過程。仔細想一下，人類是怎樣學習的？人類的所有認知，都來源于對觀察到的現象進行總結，并根據總結的規律，預測未來。

當你見過一只四條腿、短毛、個子中等、嘴巴長、汪汪叫的動物，名之為狗，你就會把以后見到的所有類似物體，歸為狗類。不過，機器的學習方式，和人類有著質的不同：人通過觀察少數特征，就能推及多數未知。

舉一隅而反三隅。機器必須觀察好多好多條狗，才能知道跑來的這條，是不是狗。這么笨的機器，能指望它來統治人類嗎。它就是仗著算力蠻干而已！力氣活。具體來講，它“學習”的算法，術語叫“神經網絡”（比較唬人）。

（特征提取器，總結對象的特征，然后把特征放進一個池子里整合，全連接神經網絡輸出最終結論）它需要兩個前提條件：1、吃進大量的數據來試錯，逐漸調整自己的準確度；2、神經網絡層數越多，計算越準確（有極限），需要的算力也越大。

所以，神經網絡這種方法，雖然多年前就有了（那時還叫做“感知機”）。但是受限于數據量和計算力，沒有發展起來。神經網絡聽起來比感知機不知道高端到哪里去了！

這再次告訴我們起一個好聽的名字對于研（zhuang）究（bi）有多重要！現在，這兩個條件都已具備——大數據和云計算。誰擁有數據，誰才有可能做AI。

目前AI常見的應用領域：圖像識別（安防識別、指紋、美顏、圖片搜索、醫療圖像診斷），用的是“卷積神經網絡（CNN）”，主要提取空間維度的特征，來識別圖像。

自然語言處理（人機對話、翻譯），用的是”循環神經網絡（RNN）“，主要提取時間維度的特征。因為說話是有前后順序的，單詞出現的時間決定了語義。神經網絡算法的設計水平，決定了它對現實的刻畫能力。

頂級大牛吳恩達就曾經設計過高達100多層的卷積層（層數過多容易出現過擬合問題）。當我們深入理解了計算的涵義：有明確的數學規律。那么，這個世界是是有量子（隨機）特征的，就決定了計算機的理論局限性。

——事實上，計算機連真正的隨機數都產生不了。——機器仍然是笨笨的。更多神佑深度的人工智能知識，想要了解，可以私信詢問。

?

總結

以上是生活随笔為你收集整理的卷积层数量过多的缺点,卷积积分的被积函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。