一、緒論

大數據核心問題

? ? 數據整合（獲取有用數據）、可視化（數據顯示）、海量數據處理、算法

不是隨機是全體，不是精確是混雜，不是因果是關系

大數據至今尚無確切和統一的定義。信息資產。

4V：體量大、種類多、速度快、價值高

發展三大要素：算數（數據量）、算力、算法

云計算既是計算模式也是商業模式。

大數據應用：優化流程、滿足客戶服務、提高體育成績、醫療、金融、改善安全、優化機器和設備性能

數據采集、數據存儲、數據處理、數據分析、數據應用。

軟件是用出來的。

大數據時代安全：同態加密簡介。先運算加密和先加密后運算結果一樣。

有數據的人不算，能算的人沒數據。

二、大數據處理與分析

大數據架構：數據源、運維中心、數據平臺、數據服務

核心技術：數據挖掘算法，分部署數據庫

數據采集來源：日志、網絡信息、規范的數據源

三、大數據主流技術

非結構：hadoop-->新型數據庫，價值高，密度低

云數據庫：分布式、并行、效用。按需自取，按量計費。

馬云-動物，華為-中國文化。

java在C以后。

linux集群，架構相對單一。

高性能計算，并行，文件系統，隱藏底層細節，因式分解，合并同類項。

storm不是批量大量數據，而是實時計算少量數據。

RDD:彈性與延遲制造。

圖計算，七橋問題。

大數據計算：最短路徑、傳播影響力、潛在用戶挖掘、信息安全。

四、數據挖掘

利用過去歷史數據，統計分析方法延伸，技術結合，分析預測。

數據挖掘目的就是從數據中淘金，從數據中獲取智能的過程。

數據挖掘是一門交叉跨界和融合的學科。

數據挖掘的十方法：

? ? 基于歷史的分析：找出相似的案例，結合函數預測將相似的屬性結合起來

? ? 購物籃分析：關聯規則反應一個事物和另一個事物的相關性

? ? 決策樹：二叉樹演化

? ? 遺傳算法：模擬細胞演化過程。

? ? 聚類分析：找出未知相似群體。

? ? 連接分析：以關系為主題。

? ? 聯機分析處理：

? ? 神經網絡：重復學習的方法。卷積神經網絡：網絡會對數據分類。

? ? 判別分析：因變量和自變量

? ? 羅杰斯回歸分析：非預測是否發生，而是概率。

常見數據挖掘功能：關聯，分類，預測，聚類

關聯規則：設置優化關聯規則，關聯規則挖掘，挖掘規則分析，挖掘規則結果，結束。

支持度：買A的同時買B。置信度：包含AB的事物數。

回歸分析：最小二乘法。洛基撕回歸

分類方法：樣本，訓練，模型，預測，評價，結果，模型預測，結束。

決策樹算法：香農信息焓：單調，非負性，累加性

神經網絡算法：單層感知機。第一層顏色紋理，第二層布紋，刻度，葉紋。三層燭光，四層動物，五層屋頂鍵盤

聚類，數值歸一化，聚類要素距離計算。

五、案例

一網通辦：數據打通、健康碼

用戶大數據畫像：數據轉化商業價值的問題，從海量數據中挖掘煉金。

中國人口變化大數據。

大數據輿情分析。
?

如需課件資料請留下郵箱或者私信。

總結

以上是生活随笔為你收集整理的大数据与数据挖掘的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。