【大数据】学习大数据前需要掌握的知识
一談到大數據技術,很多人首先想到的是數學,大概是因為數字在數學體系中穩固的位置吧,這也是理所當然的。大數據時代已經被抄的很熱了,這個行業目前已經逐漸成熟,想學習大數據開發的人越來越多。每天我們在互聯網都要存留大量的信息,但如何收集、整理這海量的信息,并產生價值,已經是各行各業都在探索的重要課題,且不說在海量數據中挖掘用戶需求,預測未來的市場導向,就連政府的政務數據也要云計算、大數據。.
如果有編程背景這是最好的了,會節省很多學習時間,更容易理解。因為大數據環境比較復雜,并不像學習編程軟件一樣,機器安裝一下,跟老師敲幾行代碼就可以了,但大數據可就要麻煩多了,至少要準備好虛擬化的集群環境,然后又要安裝部署各種計算框架,所以需要有耐心,有一定解決問題的能力,堅持不懈,才有可能學好大數據。
由于工作關系,在我的周圍存在這兩類人,一是正在學校學習的大學生,二是在IT公司從事研發設計的工程師。他們在數學學習和應用方面出現了兩個極端。在校大學生,特別是大一、大二的學生每學期都有一些諸如數學分析、線性代數、數論之類數學課程,盡管在課堂上可以聽到萊布尼茨和牛頓的糾葛故事、笛卡爾的愛情故事,但是他們往往感到很迷茫,因為不知道所學的數學知識到底有什么用。對于IT公司的研發人員來說,他們在進入大數據相關崗位前,總是覺得要先學點數學,但是茫茫的數學世界,哪里才是大數據技術的開頭?
線性代數這部分數學知識與大數據技術開發的關系也很密切,矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數據建模、分析中也是常用的技術手段。
在互聯網大數據中,許多應用場景的分析對象都可以抽象成為矩陣表示,大量Web頁面及其關系、微博用戶及其關系、文本集中文本與詞匯的關系等等都可以用矩陣表示。比如對于Web頁面及其關系用矩陣表示時,矩陣元素就代表了頁面a與另一個頁面b的關系,這種關系可以是指向關系,1表示a和b之間有超鏈接,0表示a,b之間沒有超鏈接。著名的PageRank算法就是基于這種矩陣進行頁面重要性的量化,并證明其收斂性。
以矩陣為基礎的各種運算,如矩陣分解則是分析對象特征提取的途徑,因為矩陣代表了某種變換或映射,因此分解后得到的矩陣就代表了分析對象在新空間中的一些新特征。所以,奇異值分解SVD、PCA、NMF、MF等在大數據分析中的應用是很廣泛的。
詳細內容:【大數據學習】數學基礎及應用——阿里云大學
課程主要介紹大數據中的數學基礎:
一、向量、矩陣介紹?
二、向量在游戲引擎中的應用
三、矩陣奇異值分解及其應用?
四、導數、梯度介紹?
五、最優化方法及其應用
阿里云開發者社區全面升級,一站式體驗,用得更爽:(阿里云開發者社區首頁)
轉載于:https://blog.51cto.com/14377691/2410012
總結
以上是生活随笔為你收集整理的【大数据】学习大数据前需要掌握的知识的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: BGP 路由表即将突破 768k
- 下一篇: Codeup——问题 H: 部分A+B