機器學習的應用非常廣泛，更為驚人的是，相同的算法可以完成不同的事。在機器學習領域之外，如果你要解決不同的問題，就得編寫兩個不同的程序。

相同的機器學習算法不僅可以完成無窮無盡且不同的事，而且和被它們替代的傳統算法相比，它們要簡單得多。多數學習算法可能只有數百行或者數千行。相比之下，傳統程序則需幾十萬甚至上百萬行代碼。

如果那么少的學習算法就可以做那么多事，那么有一個邏輯上的疑問：單個學習算法可以把所有的事情做完嗎？實際上，對所有主要的學習算法——包括最近鄰算法、決策樹學習算法以及貝葉斯網絡——來說，如果你為學習算法提供足夠、適當的數據，該算法可以實現任一功能（對學習任何東西來說，都與數學相關）。需要注意的是，“足夠數據”也有可能無限。

本書的中心假設就是：

所有知識，無論是過去的、現在的還是未來的，都有可能通過單個通用學習算法來從數據中獲得。

作者將該算法稱為“終極算法”。

一種算法怎么可能學習那么多不同的事情？實際上，種種證據表明終極算法是存在的，下面來看看它們是什么樣的：

來自神經科學的論證

2000年4月，麻省理工學院的神經系統科學家團隊在《自然》雜志上發布了一項非同尋常的實驗結果。他們對雪貂的大腦進行重新布線，改變了雪貂從眼睛到聽覺皮層以及耳朵到視覺皮層之間的連接。你可能覺得實驗結果就是雪貂會嚴重致殘，但并沒有：聽覺皮層學會看，視覺皮層學會聽，而且雪貂沒事。

大腦中的所有信息都以同樣方式（通過神經元的放電模式）來表示。學習機制也相同：記憶通過加強集群放電神經元之間的連接得以形成，涉及一個叫作長時程增強的生物化學過程。

關于大腦是終極算法這個觀點的最重要論據，就是大腦負責我們能感知以及想象的一切如果某物存在，但大腦無法對其進行學習，那么我們就不知道它的存在。

來自進化論的證據

生物多樣性源于單一機制：自然選擇。計算機科學家對該機制非常熟悉：我們通過反復研究嘗試許多備選方法來解決問題，選擇并改進最優方案，并盡可能多地嘗試這些步驟。進化論是一種算法。

來自物理學的證據

在1959年的一篇著名文章中，物理學家、諾貝爾物理學獎得主尤金.維格納驚嘆“數學在自然科學中不可思議的有效性”。由少量的觀察推導出規律，是什么神奇的力量讓這些規律可以運用到超出其預測范圍的領域？這些規律都是基于數據得來的，而為什么這些規律比數據還要準確好幾個數量級？最重要的是，為什么簡潔、抽象的數學語言能夠如此精確地解釋我們無限復雜的世界？數學就是如此，而且終極算法就是其邏輯的延伸。

來自統計學的論證

根據統計學流派的觀點，所有形式的學習都是基于一個簡單的公式——貝葉斯定理。貝葉斯定理會告訴你，每當你看到新的證據后，如何更新你的想法。

貝葉斯定理就是將數據變成知識的機器。據貝葉斯統計學派的觀點，貝葉斯定理就是將數據變成知識的唯一正確方法。如果該學派的觀點正確，貝葉斯定理要么就是終極算法，要么就是推動終極算法發展的動力。

來自計算機科學的論證

1936年，艾倫.圖靈想象出一個奇怪的裝置，它有一條紙帶和機器頭，頭可以在紙帶上進行閱讀和書寫，就是現在人們知道的圖靈機。每一個可以想得到的、可以用邏輯推理解決的難題，都可以通過圖靈機解決。此外，一臺所謂的萬能圖靈機可以通過閱讀紙帶上的具體要求來模仿所有東西，換句話說，我們能夠對圖靈機進行編程，用它來做所有的事情。

機器學習算法與知識工程師

當然，有很多人支持終極算法，也有很多人懷疑終極算法。當某方法可以簡單解決復雜問題時，存在懷疑符合情理。對終極算法最堅定的反抗來自機器學習永恒的敵人：知識工程。根據知識工程支持者的觀點，知識無法自動被學習，必須通過人類專家編入計算機，才能對它進行學習。

另一個對機器學習持懷疑態度的人是語言學家諾姆.喬姆斯基。喬姆斯基認為，語言必須是與身俱來的，因為孩子聽到的合乎語法的句子僅僅是一些例子，不足以學習語法。然而，這種說法僅僅將學習語言的任務交給了進化，它并沒有反對終極算法，只是反對“終極算法是大腦”這個觀點。

另外一個可能會反對終極算法的觀點來自心理學家杰瑞.福多，他認為心理是由一系列模塊組成的，這些模塊之間只有有限的聯系。即使我們相信心理模塊理論，這個理論也并沒有暗指不同的模塊會使用不同的學習算法。

---

“無論你的算法有多聰明，總有它無法掌握的東西。”除了人工智能和認知科學，反對機器學習的常見觀點幾乎都可以用這句話概括。

有些事可預料，而有些事卻不能預料，這個說法是正確的，而機器學習算法的首要任務就是區別可預測的事與不可預測的事。但終極算法的目標是要學習一切能認知的東西。

在機器學習中，復雜性存在于數據中。終極算法需要做的就是消化復雜性，因此，如果終極算法變得非常簡單，那么我們也不用感到驚訝。雖然人類的手很簡單，但是它卻可以制作并使用無數種工具。終極算法與算法的關系，就如同手指與鋼筆、劍、螺絲刀、叉子的關系。

---

我們不必從零開始尋找終極算法，而有幾十年的機器學習研究可以利用。我們尋找終極算法的過程是復雜且活躍的，因為在機器學習領域存在不同思想的學派，主要學派包括符號學派、聯結學派、進化學派、貝葉斯學派、類推學派。每個學派都有其核心理念以及其關注的特定問題。

對于符合學派來說，所有的信息都可以簡化為操作符號，就像數學家那樣，為了解方程，會用其他表達式來代替本來的表達式。他們的主算法是逆向演繹。

對于聯結學派來說，學習就是大腦所做的事情，因此我們要做的就是對大腦進行逆向演繹。他們的主算法是反向傳播學習算法。

進化學派認為，所有形式的學習都源于自然選擇。如果自然選擇造就我們，那么它就可以造就一切，我們要做的，就是在計算機上對它進行模仿。他們的主算法是基因編程。

貝葉斯學派最關注的問題是不確定性。所有掌握的知識都有不確定性，而且學習知識的過程也是一種不確定的推理形式。他們的主算法就是貝葉斯定理及其衍生定理。

對于類推學派來說，學習的關鍵就是要在不同場景中認識到相似性，然后由此推導出其他相似性。他們的主算法就是支持向量機。

每個學派對其中心問題的解決方法都是一個輝煌、來之不易的進步，但真正的終極算法應該把5個學派的5個問題都解決，而不是只解決一個。

本書將綜合出一個擁有所有這些功能的終極算法：我們對終極算法的追求之旅讓我們了解這5個學派。學派與學派相遇、談判、沖突的地方，也是這個旅程最艱難的部分。每個學派都有自己不同的觀點，我們必須將這些觀點集中起來。將所有信息集中起來變成解決方案的方法，并不是很容易找到的，有些人甚至說不可能找到，但這就是我們要做的事情。

參考文獻：

????終極算法. [美] Pedro Domingos 著. 黃芳萍 譯

總結

以上是生活随笔為你收集整理的终极算法【2】——终极算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。