?

數(shù)據(jù)挖掘(data mining)，機(jī)器學(xué)習(xí)(machine learning)，和人工智能(AI)的區(qū)別是什么？ 數(shù)據(jù)科學(xué)(data science)和商業(yè)分析(business analytics)之間有什么關(guān)系？

本來我以為不需要解釋這個問題的，到底數(shù)據(jù)挖掘(data mining)，機(jī)器學(xué)習(xí)(machine learning)，和人工智能(AI)有什么區(qū)別，但是前幾天因為有個學(xué)弟問我，我想了想發(fā)現(xiàn)我竟然也回答不出來，我在知乎和博客上查了查這個問題，發(fā)現(xiàn)還沒有人寫過比較詳細(xì)和有說服力的對比和解釋。那我根據(jù)以前讀的書和論文，還有和與導(dǎo)師之間的交流，嘗試著說一說這幾者的區(qū)別吧，畢竟一個好的定義在未來的學(xué)習(xí)和交流中能夠發(fā)揮很大的作用。同時補(bǔ)上數(shù)據(jù)科學(xué)和商業(yè)分析之間的關(guān)系。能力有限，如有疏漏，請包涵和指正。

導(dǎo)論

本文主要分為兩部分，第一部分闡述數(shù)據(jù)挖掘(data mining)，機(jī)器學(xué)習(xí)(machine learning)，和人工智能(AI)之間的區(qū)別。這三者的區(qū)別主要是目的不同，其手段(算法，模型)有很大的重疊，所以容易混淆。第二部分主要闡述以上的技能與數(shù)據(jù)科學(xué)(data science)的關(guān)系，以及數(shù)據(jù)科學(xué)(data science)和商業(yè)分析(business analytics)之間的關(guān)系。其實，數(shù)據(jù)科學(xué)家本身就是商業(yè)分析師在大數(shù)據(jù)時代的延伸。

---

數(shù)據(jù)挖掘VS. 機(jī)器學(xué)習(xí)VS. 人工智能

數(shù)據(jù)挖掘 (data mining): 有目的地從現(xiàn)有大數(shù)據(jù)中提取數(shù)據(jù)的模式(pattern)和模型(model)

關(guān)鍵字：模式提取，大數(shù)據(jù)

數(shù)據(jù)挖掘是從現(xiàn)有的信息(existing information)中提取數(shù)據(jù)的模式(pattern)和模型(model)，即精選出最重要的信息，以用于未來機(jī)器學(xué)習(xí)和AI的數(shù)據(jù)使用。其核心目的是找到數(shù)據(jù)變量之間的關(guān)系。其發(fā)展出來的主要原因是大數(shù)據(jù)的發(fā)展，用傳統(tǒng)的數(shù)據(jù)分析的方式已經(jīng)無能處理那么多大量的看似不相關(guān)的數(shù)據(jù)的處理，因此需要數(shù)據(jù)挖掘技術(shù)去提取各種數(shù)據(jù)和變量之間的相互關(guān)系，從而精煉數(shù)據(jù)。
數(shù)據(jù)挖掘本質(zhì)上像是機(jī)器學(xué)習(xí)和人工智能的基礎(chǔ)，他的主要目的是從各種各樣的數(shù)據(jù)來源中，提取出超集(superset)的信息，然后將這些信息合并讓你發(fā)現(xiàn)你從來沒有想到過的模式和內(nèi)在關(guān)系。這就意味著，數(shù)據(jù)挖掘不是一種用來證明假說的方法，而是用來構(gòu)建各種各樣的假說的方法。數(shù)據(jù)挖掘不能告訴你這些問題的答案，他只能告訴你，A和B可能存在相關(guān)關(guān)系，但是它無法告訴你A和B存在什么相關(guān)關(guān)系。
當(dāng)然，數(shù)據(jù)挖掘會使用大量機(jī)器學(xué)習(xí)的算法，但是其特定的環(huán)境和目的和機(jī)器學(xué)習(xí)不太一樣。

機(jī)器學(xué)習(xí)(machine learning): 自動地從過往的經(jīng)驗中學(xué)習(xí)新的知識。

關(guān)鍵字: 自動化，自我優(yōu)化，預(yù)測，需要training data，推薦系統(tǒng)

機(jī)器學(xué)習(xí)其實是人工智能很重要的一部分，因為目前，在實踐過程中，大多數(shù)的人工智能處理的任務(wù)，其實是用機(jī)器學(xué)習(xí)的方式完成的。機(jī)器學(xué)習(xí)可以用程序和算法自動地學(xué)習(xí)，只要被設(shè)計好了，這個程序可以進(jìn)行自我優(yōu)化。同時，機(jī)器學(xué)習(xí)需要一定數(shù)量的訓(xùn)練數(shù)據(jù)集(training data set)，用于構(gòu)建來自過往經(jīng)驗的“知識” 。
且機(jī)器學(xué)習(xí)目前在實踐中最重要的功能便是預(yù)測結(jié)果。比如機(jī)器學(xué)習(xí)已經(jīng)學(xué)習(xí)結(jié)束了，現(xiàn)在有一個新的數(shù)據(jù)集x，需要預(yù)測其分類，機(jī)器學(xué)習(xí)算法會根據(jù)這個新數(shù)據(jù)與學(xué)習(xí)后的“知識”相匹配(實際上，知識指的是學(xué)習(xí)后的數(shù)學(xué)模型)，然后將這個數(shù)據(jù)集x分類某類C去。再比較常見的機(jī)器學(xué)習(xí)，比如amazon的推薦系統(tǒng)。

人工智能(AI): 一個廣泛的概念，本質(zhì)是用數(shù)據(jù)和模型去為現(xiàn)有的問題(existing problems)提供解決方法(solutions).

關(guān)鍵字：和人一樣處理問題，技術(shù)的合集

人工智能是一個與機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘相對不同的概念，人工智能的目的是為了去創(chuàng)造有智力的電腦(不知道怎么翻譯好，可以假設(shè)其為機(jī)器人)。在實踐中，我們希望這個電腦可以像有智力的人一樣處理一個任務(wù)。因此，理論上人工智能幾乎包括了所有和機(jī)器能做的內(nèi)容，當(dāng)然也包括了數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的內(nèi)容，同時還會有監(jiān)視(monitor)和控制進(jìn)程(process control)的內(nèi)容。

---

數(shù)據(jù)科學(xué)(data science)和商業(yè)分析(business analytics)的關(guān)系？

其實以前，我們是沒有數(shù)據(jù)科學(xué)家(data scientist)，和數(shù)據(jù)科學(xué)(data science)這個概念的。我們稱呼做相關(guān)內(nèi)容的方式更多叫商業(yè)分析(business analytics)。

在2011年的時候，麥肯錫發(fā)表了《Big Data: the next frontier for innovation, competition, and productivity》提出了現(xiàn)在很多的公司已經(jīng)開始往分析才能(analytical talent)中獲得競爭優(yōu)勢。雖然這不是第一篇提出這個概念的公司，但是是第一次提出，數(shù)據(jù)分析能力也有助于商業(yè)公司去發(fā)現(xiàn)潛在的機(jī)會，而不僅僅只對技術(shù)公司有效。接著麥肯錫認(rèn)為到了2018年，美國大約會有190,000的項目缺少“深度分析能力(Deep Analytical Talent)”，而這些深度分析能力，是由大數(shù)據(jù)(big data)驅(qū)動的。至此，麥肯錫將”商業(yè)分析”進(jìn)一步形容為”深度分析能力”。

接著DJ Patil和Jeff Hammerbacher在其寫的《Building Data Science Teams》,將麥肯錫的“深度分析能力”稱為了“數(shù)據(jù)科學(xué)家(data scientists)”。他們在文中提到：

商業(yè)分析師(business analyst)看起來太局限了，數(shù)據(jù)分析師(data anlyst)是他們的競爭者，但是我們還是覺得這個稱呼太局限了。....我們認(rèn)為最好的稱呼應(yīng)該是”數(shù)據(jù)科學(xué)家(data scientist)”，因為這些人需要同時使用數(shù)據(jù)(data)和科學(xué)(science)去創(chuàng)造一些新的東西。

緊接著，DJ Patil加了一些關(guān)鍵特點用于去尋找一個數(shù)據(jù)科學(xué)家(data scientist):

專業(yè)技術(shù)(Technical expertise): 最好的數(shù)據(jù)科學(xué)家需要有關(guān)于某些科學(xué)學(xué)科的深度專業(yè)知識(deep expertise)。

好奇心(Curiosity): 一個優(yōu)秀的數(shù)據(jù)科學(xué)家需要有挖掘潛在關(guān)系，解決問題和證明假說的強(qiáng)烈好奇心和渴望。

講故事的能力(Storytelling): 能用數(shù)據(jù)講一個生動的故事的能力，它能使交流更加有效。

聰明(Cleverness): 能夠創(chuàng)造性地解決問題的能力。

隨后，數(shù)據(jù)科學(xué)家這個概念才開始被廣為流傳。那么數(shù)據(jù)科學(xué)家需要具備哪些專業(yè)能力？不同的公司有不同的看法和意見(反正大家好像都喜歡把所有一切的期許都放在一個新興的行業(yè)中)，這里列舉一個比較流行的看法：
1.Drew Conway’s?Data Scientist Venn Diagram

?

2.Drew Tierney’s?Multi-disciplinary Diagram

?

3.Gartner

?

最后附贈一張“作弊紙”，列出幾乎所有的商業(yè)問題(Business Problems)，想要入門成為一個優(yōu)秀的商業(yè)分析師，或者是數(shù)據(jù)科學(xué)家，強(qiáng)烈推薦保存！！！！！！！！！！！！以后有時間，我會嘗試著逐一翻譯和解說一下。

?

---

?

拓展閱讀（英文）：

什么是獨(dú)角獸型的數(shù)據(jù)科學(xué)家？：不知道為什么現(xiàn)在什么“獨(dú)角獸”型的這種理念會那么流行，企業(yè)也愛叫獨(dú)角獸，行業(yè)內(nèi)也愛叫獨(dú)角獸。。但為什么一提到獨(dú)角獸，我先想到的是巫師系列游戲。（捂臉~）

Top 10 Data Analysis Tools for Business：用于商業(yè)分析的十大工具，強(qiáng)烈推薦閱讀！！！

Data Science: Bridging the Business & IT Gap：第二部分內(nèi)容主要來源的原文。

---

?

參考文獻(xiàn)：

http://stats.stackexchange.com/questions/5026/what-is-the-difference-between-data-mining-statistics-machine-learning-and-ai

http://upfrontanalytics.com/data-mining-vs-artificial-intelligence-vs-machine-learning/

https://www.researchgate.net/post/What_is_the_difference_between_machine_learning_and_data_mining

https://www.r-bloggers.com/whats-the-difference-between-machine-learning-statistics-and-data-mining/

https://discuss.analyticsvidhya.com/t/what-is-the-difference-between-machine-learning-data-analysis-data-mining-data-science-and-ai/572

http://www.kdnuggets.com/2014/06/data-science-skills-business-problems.html

各種亂七八糟的書和課件的筆記。

《Building Data Science Teams》

《Big Data: the next frontier for innovation, competition, and productivity》

Drew Conway’s?Data Scientist Venn Diagram

Drew Tierney’s?Multi-disciplinary Diagram

分類:?數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的数据挖掘(data mining)，机器学习(machine learning)，和人工智能(AI)的区别是什么？ 数据科学(data science)和商业分析(business analytics的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。