1.機器學習的分類

眾所周知，機器學習其實就是讓電腦來做點人事。實際上這個可以分成兩類，一個是kernel（也有人將其稱為SVM）、一個是神經(jīng)網(wǎng)絡（我這里將深層神經(jīng)網(wǎng)絡和淺層神經(jīng)網(wǎng)絡都放在這里了）。我個人理解這兩個東西的區(qū)別主要是有下面兩個：
1.kernel也就是核方法是固定的一種方法，不用有太多的操作，也不用靈活設計，就可以產(chǎn)生很好的效果。但是每次應用于新的內(nèi)容的時候，這需要重新再進行計算。需要的額外運算很大。
深度神經(jīng)網(wǎng)絡我們則需要我們使用梯度下降的方法，不斷進行計算，來優(yōu)化我們的模型，當我們需要應用于新的內(nèi)容的時候，我們則僅僅需要把這個模型拿過來調(diào)用就行了，需要的運算很小。
2.kernel這個東西對調(diào)參數(shù)不怎么敏感，而深度學習則對于調(diào)參比較敏感。那么有人說了，這個調(diào)參敏感不是更好嗎？我看其實不一定，我們用淺層神經(jīng)網(wǎng)絡和核方法比較，淺層神經(jīng)網(wǎng)絡和核方法比起來效果并不好。得需要調(diào)參才能達到類似的效果。所以這個調(diào)參敏感其實也是一個方法本身還有不足的表現(xiàn)。

2.機器學習的發(fā)展過程

2.1大致階段

大約大家普遍認為：
1990—2000，是神經(jīng)網(wǎng)絡的10年（這個時期是淺層神經(jīng)網(wǎng)絡）
2000—2012，是kernel方法的10年（AlexNet的提出終結了這一切）
2012—今，又回到神經(jīng)網(wǎng)絡的天地。（這個時期是深層神經(jīng)網(wǎng)絡）

2.2理解原因

1.一開始神經(jīng)網(wǎng)絡的興盛應該說其實是梯度下降方法立的功。因為在這一時期，硬件的條件有限，所以不能很好的支持kernel方法的進行。其實并不是神經(jīng)網(wǎng)絡本身的發(fā)力。
2.隨著硬件的發(fā)展，計算能力的提升，淺層神經(jīng)網(wǎng)絡的不足逐漸展現(xiàn)出來，所以這一階段kernel的優(yōu)勢逐漸展現(xiàn)。淺層神經(jīng)網(wǎng)絡逐漸退出歷史舞臺。
3.隨著計算能力的進一步發(fā)展，逐漸可以支持我們進行深度神經(jīng)網(wǎng)絡的優(yōu)化，神經(jīng)網(wǎng)絡的優(yōu)勢真正的發(fā)力，所以取代了原有的kernel方法。

3.未來的事

隨著計算能力的進一步提升，很有可能有新的東西發(fā)展起來。
但是目前來看，深度神經(jīng)網(wǎng)絡還要繼續(xù)發(fā)展一段時間。我們參考上一次神經(jīng)網(wǎng)絡高度發(fā)達的時期，我們不難發(fā)現(xiàn)，這種階段很多人都會進行對應計算設備的開發(fā)。DPU這種單指令多組數(shù)據(jù)處理的計算設備的大熱，其實也反映了業(yè)界對于這種可以提升深度神經(jīng)網(wǎng)絡運算效果的設備的期待。
所以這個階段FPGA的的開發(fā)很有可能再次大熱。

總結

以上是生活随笔為你收集整理的机器学习的发展和硬件发展的关系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。