大数据 深度 分页_机器学习、深度学习、大数据 ?傻傻分不清楚?
? ? ? 提起機器學習四個字,不知你的腦海中是否會有一絲印象?畢竟身處信息時代,在日常生活中,無論通過什么媒介,接觸到這個名詞概念的機會還是挺大的。與之類似,還有以下這些名詞概念:數據分析、數據挖 掘、深度學習、人工智能、大數據等等。這些概念都是什么意思?都是做什么的?有什么價值?最重要的是,他們之間的關聯關系以及區別是什么呢?
? ? ? 就我個人而言,對這些名詞概念也僅僅局限于聽說過而已,傻傻分不清楚。而且理解水平大概還是停留在這樣的一個層次:【注:個人理解,僅供參考】
? ? ? 1、這些都是對海量數據進行操作的,所謂大數據,數據量肯定小不了。
? ? ? 2、數據分析,對數據進行建模,從不同緯度分析數據,得到有價值的結論。
? ? ? 3、數據挖掘,大學時期王老師講過一些,不過早已經還給他了。不過從字面意思不難理解,往深了挖嘛,在表面數據的基礎上通過科學方法,探尋深層次的數據關系以及暗藏的規律,將數據的隱含價值(比如發展趨勢)得以展示。
? ? ? 4、至于深度學習和機器學習,以前了解一點,只記得深度學習是機器學習的一個具體分支,主要邏輯是利用計算機算法進行建模運算,將得到的結果再次作為初始數據源,進行迭代,最終得到最理想化的數據理論或結果。最直白的例子來說,就是剛洗完的衣服,滿是泡沫,再進行一次次的循環漂洗,直到你覺得涮干凈了。
? ? ? 5、人工智能,直觀感受就是例如機器人,利用計算機算法服務于社會生產生活,同時具有自主學習演化的能力,貌似和上面的機器學習有重合點。
? ? ? 6、大數據,我覺得這個概念不應該具體指向某一個功能,而是應該指向一個行業、產業的生態圈,可以說,上面的幾個概念都可以理解為大數據。至于說大數據就是大量的數據這一觀點,沒毛病,但是未免有點狹隘,應該更寬泛一點。
? ? ? 我最開始知道大數據是在剛畢業那年,第一印象也是大數據就是海量數據的處理,涉及到的一些技術例如Hadoop、HBase、Spark等等,當時還在王府井的書店買本書,照著在本地Vmware搭建了一套Hadoop分布式環境接觸一下,當時大數據這個概念炒的很火,只不過后來沒在繼續研究,畢竟不是主要的工作方向。后來這兩年又新興起了人工智能、機器學習等概念。之前總感覺這些東西好像是一夜之間冒出來似的,很陌生,其實只是之前沒有接觸到的原因,你不知道并不代表之前它不存在,天外有天嘛。無論是社會炒作也好,還是他們自身彪悍也罷,作為信息時代的一員,對其有一個系統性的認識,擴展下視野,還是很有必要的,而且對于后續的學習理解也有著指導意義,磨刀不誤砍柴工。否則可能就真的落后于時代了。那么接下來,就和我一起,來學習了解、認識這些新朋友吧。
前面已經提到過,困惑主要有以下兩點:?
??? ??1、每一個名詞具體的解釋。?
? ? ? 2、它們之間的關系以及區別。?
? ? ? 接下來就通過查閱資料,然后再進行理解總結的方式來進行吧。雖然最后很有可能,上面的我的自行理解要被啪啪打臉了,不過,那又有何妨呢?
★參考文章一:
標題:科普:大數據、人工智能、機器學習與深度學習都是什么?有什么關系?
鏈接:https://blog.csdn.net/zw0pi8g5c1x/article/details/80768132
內容1、大數據
內容2、人工智能
??? ??人工智能是計算機科學的一個分支,目的是開發一種擁有智能行為的機器。
內容3、機器學習?
? ? ? 機器學習是一門人工智能的科學,該領域的主要研究對象是人工智能,特別是如何在經驗學習中改善具體算法的性能,是對能通過經驗自動改進的計算機算法不斷優化性能的研究。
? ? ? ??關鍵詞:算法、經驗、性能
? ? ?機器學習是使數據通過算法構建出模型,然后對模型性能進行評估,評估后的指標,如果達到要求就用這個模型測試新數據,如果達不到要求就要調整算法重新建立模型,再次進行評估,如此循環往復,最終獲得滿意結果。
下面再擴展一點機器學習的一點知識:
? ? ? 機器學習的任務:
? ? ? ? ? ? 機器學習基于數據并以此獲取新知識、技能。它的任務有很多,分類是其基本任務之一。
? ? ? 分類:
? ? ? ? ? ? 將新數據劃分到合適的類別中,一般用于類別型的目標特征,如果目標特征為連續型,則往往采用回歸方法。回歸,是對新目標特征進行預測,是機器學習中使用非常廣泛的法之一.
? ? ? 分類和回歸:
? ? ? ? ? ? 都是先根據標簽值或目標值建立模型或規則,然后利用這些帶有目標值的數據形成的模型或規則,對新數據進行識別或預測。這兩種方法都屬于監督學習。與監督學習相對是無監督學習,無監督學習不指定目標值或預先無法知道目標值,它可以將把相似或相近的數據劃分到相同的組里,聚類就是解決這一類問題的方法之一。
除了監督學習、無監督學習這兩種最常見的方法外,還有半監督學習、強化學習等方法,這里我們就不展開了,下圖展示了這些基本任務間的關系。
內容4、深度學習
? ? ? 深度學習解決的核心問題之一就是自動地將簡單的特征組合成更加復雜的特征,并利用這些組合特征解決問題。深度學習是機器學習的一個分支,它除了可以學習特征和任務之間的關聯以外,還能自動從簡單特征中提取更加復雜的特征。
內容5、關系與區分:
- 大數據 ? ? ?是人工智能的基礎。
- 機器學習 ? 是人工智能的核心,是使機器具有類似人的智能的根本途徑,是使大數據轉變為知識或生產力的工具。
- 機器學習 ? 要以大數據量? 為基礎,發掘其中蘊含的有用信息。其處理的數據越多,機器學習就越能體現出優勢,如語言識別、圖像識別、天氣預測等等。
- 深度學習? ?是機器學習的一個分支,能夠自動地將簡單的特征組合成更加復雜的特征,因為畢竟對機器學習來說,特征提取不是一件簡單的事情。
- 人工智能? 是一類非常廣泛的問題,機器學習是解決這類問題的一個重要手段,深度學習則是機器學習的一個分支。在很多人工智能問題上,深度學習的方法突破了傳統機器學習方法的瓶頸,推動了人工智能領域的快速發展.。
擴展內容:如何選擇合適算法:
? ? ? 當我們接到一個數據分析或挖掘的任務或需求時,如果希望用機器學習來處理,首要任務是根據任務或需求選擇合適算法,選擇哪種算法較合適?分析的一般步驟為:
? ? ? 充分了解數據及其特性,有助于我們更有效地選擇機器學習算法。采用以上步驟在一定程度上可以縮小算法的選擇范圍,使我們少走些彎路,但在具體選擇哪種算法方面,一般并不存在最好的算法或者可以給出最好結果的算法,在實際做項目的過程中,這個過程往往需要多次嘗試,有時還要嘗試不同算法。不過先用一種簡單熟悉的方法,然后,在這個基礎上不斷優化,時常能收獲意想不到的效果。
=>綜上個人總結:
? ? ? 人工智能是一個大的生態面,也可以說是個行業,這個行業給我們生活提供了很大的便利,比如無人駕駛、語音識別等,這些是怎么實現的呢?要用到機器學習的技術,使用機器學習通過大量數據的算法訓練【注:看來原文是把大數據作為大數據量、海量數據來理解的】構建模型。但是機器學習有不足之處,那就是對特征的提取并不簡單。在一些復雜問題上,要花費大量時間精力通過人工的方式設計有效的特征集合,所以從機器學習延伸出深度學習的分支來彌補了這個不足。
? ? ? 總得來說,這篇文章對人工智能、機器學習、深度學習的解釋我還是很滿意的,清晰了然。但是他把大數據直接作為大數據量來解釋,用于闡釋機器學習的基礎,這一點我覺得還是有點太狹隘,可能文章的重點在于機器學習而不是大數據的原因吧,就把大數據一筆帶過了。文章中也擴展介紹了一點別的知識,比如機器學習本身的內容、算法的選擇等,可以作為具體了解這項技術的入門資料。
★參考文章二:
標題:知乎:數據挖掘與數據分析的主要區別是什么?
鏈接:https://www.zhihu.com/question/20127962
? ? ? ??排在首位的回答獲贊最多,我看了下覺得說的很不錯,也沒什么難理解的。版權原因無法復制截圖,這里我口述一下作者的意思,大致是這樣的:
? ? ? ??數據分析:一般目的性比較明確,想要從數據集中分析出想要的結果。重點是觀察數據,需要人工 ?建模。
? ? ? ??數據挖掘:就是從海量的數據中找到其中暗含的隱藏的規則關系,可以將發現的規則關系直接應用到新數據樣本的預測,直接自動完成了數學建模。
作者也舉了個簡單的例子:
? ? ? ? 有一些人總是不及時向電信運營商繳錢,如何發現它們?
? ? ? ? 數據分析:通過對數據的觀察,我們發現不及時繳費人群里的貧困人口占82%。所以結論是收入低的人往往會繳費不及時。結論就需要降低資費。
? ? ? ? 數據挖掘:通過編寫好的算法自行發現深層次的原因。原因可能是,家住在五環以外的人,由于環境偏遠不及時繳費。結論就需要多設立一些營業廳或者自助繳費點。
=>小結:
? ? ? ? 其實,僅從字面意思也不難理解二者的側重點是不同的,沒什么難理解的地方。一個側重分析,就會有分析出的結論。一個側重挖掘,側重于探尋未知。這兩者也是需要大量的數據樣本集的,就好比做統計,樣本量都不夠,得出的結論怎么能夠說服人呢?
? ? ? ? 寫到這里,我們也注意到了,無論哪一種技術,還是理念,貌似都離不開一個前提,就是要有海量的數據集作為數據支撐,即體現了大數據的量大的特性,但是這些技術、理念不都是作為工具去處理生活中的問題的嗎?什么問題呢?新時期的大量數據導致的傳統常用的一般方法、工具無法滿足高效處理進而得出結果用于生產生活的問題。所以,我在本文開頭就認為,大數據不應只是指數據量大,數據范圍大,更應該指信息時代產生的海量數據導致的一系列社會生產生活問題以及對問題的探究、處理過程的研究發展。從而衍生發展出了這些相關技術、概念理論去實踐、驗證、解決。(這里并不是求證理解觀點的對錯,畢竟是理解類的問題,因人而異,有差異很正常。)所以,這個大數據的概念我覺得是一個虛的、寬泛的概念,類似的人工智能也是一個虛擬的概念,很明顯,大數據的層次范圍應該在人工智能之上。對于大數據這一類的概念,了解大致方向,對個人認識有指引作用即可,不必較真去深究,重點還是應該放在機器學習、深度學習等這一類具體技術、方法的理解上來,因為它們才是解決大數據問題的具體實現、應用的關鍵。
? ? ? 如果仍然對大數據的理解有疑惑,可以參考以下百度百科的解釋:
接下來,有必要來看下數據分析、數據挖掘、機器學習它們之間的橫向聯系:
★參考文章三:
相關文章鏈接:?
http://innovaleur.com/the-data-science-puzzle-explained/ 【首選推薦,可用chrome翻譯閱讀】
https://www.zhihu.com/question/20954873
先看下圖:
Artificial Intelligence? 人工智能
Machine Learning? 機器學習
Deep Learning ? 深度學習 ? ? ? ? ??
Data Mining? 數據挖掘 ? ? ? ?
Data Science 數據科學
=>參考文章內容總結概括:
? ? ? 機器學習和數據挖掘是有很大一部分的交叉地帶的,二者有著復雜的關系:數據挖掘是一個過程,在此過程中,機器學習算法被用作工具來提取數據集中保存的潛在有價值的模式。
? ? ? 機器學習:
? ? ? ? ? ? ??機器學習本質上是跨學科的,并且采用了計算機科學,統計學和人工智能等領域的技術。? ? ? ??
? ? ? ? ? ? ? 機器學習研究的主要產物是算法,它可以根據經驗自動促進改進算法,這些算法可應用于各種不同的領域。
? ? ? 數據挖掘:
? ? ? ? ? ? ??是一門交叉性很強的學科,可以用到機器學習算法以及傳統統計的方法,最終的目的是要從數據中挖掘到需要的內容,從而指導人們的活動。數據挖掘的重點在于算法的應用,而不是算法本身,用何種算法并不是很重要,關鍵是能夠滿足實際應用背景。而機器學習則偏重于算法本身的設計。
? ? ? ? ———————————-
? ? ? ? 該文中其它相關內容擴展:
? ? ? ? ?深度學習:
? ? ? ??? ? ? 它是應用深度神經網絡技術(即具有多個隱藏層的神經網絡體系結構)來解決? 問題的過程。深度學習就像數據挖掘一樣是一個過程,采用深度神經網絡架構,屬? 于機器學習算法的特定類型。深度學習可以通過其他流程和工具來幫助解決問題,從而為數據科學提供了非常多的幫助。從這種角度來看,深度學習是對數據科學領域非常有價值的補充。
? ? ? ? 人工智能:
? ? ? ??? ? ? 原文作者大意:作者認為這個概念是隨著時間的推進,在不同階段有著不同的理解的。人工智能是一個準繩,一個移動的目標,一個無法實現的目標。每當我們踏上通往AI成就的道路時,這些成就似乎都會以某種方式轉化為其他事物。
=>個人看法:
? ? ? ? 這篇文章中對數據挖掘和數據和機器學習的區別關系描述的不錯,直觀描述了各自的側重點,一個側重算法設計,一個側重算法應用。但是該文中擴展的內容,我覺得不滿意,由于是機翻,可能有差別。感覺作者只是描述了相關概念的特性,沒有點出本質性的內容。所以,上面內容擴展我只記錄了深度學習和人工智能的段落。深度學習這一段話,沒有什么特別新穎的觀點,基本和前文的介紹一致。人工智能這一段話,也只是表達了一個對其理解是隨著時間推移而不斷變化的特點,沒有介紹AI的內容,所以我認為在這些方面此文描述的有些不理想。
? ? ? ??綜上,通過對這幾個概念的闡述,相信你對這些所謂的名詞術語已經有了一個大致的了解,最起碼不會再傻傻分不清楚了吧!這讓我想起了一件往事,就是在大學期末考試的時候,計算機網絡、操作系統的這一類試卷,總是會有一種題型叫做名詞解釋,讓你回答解釋一些專有名詞。當時真是痛苦,因為討厭背誦這些東西,其實,還是一個用心不用心的問題,用心去思考,就會有自己的想法,從自己的思維去嘗試理解。否則,只能是單純的機械式的重復背誦記憶,并沒有真正的掌握相關知識。
? ? ? ??通過這次梳理吧,最起碼腦子里不再是一團漿糊了,對各自有了明確的概念認識,所以我認為這次梳理還是很有必要的。如果你對文中觀點有不同意見或者理解,歡迎留言交流,若發現錯誤之處還望批評指正。
注:文中圖片來源于網絡截圖!
總結
以上是生活随笔為你收集整理的大数据 深度 分页_机器学习、深度学习、大数据 ?傻傻分不清楚?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python数组排序sort_详解pyt
- 下一篇: django调用java_07.手把手教