目錄

• 機器學習流程
• 有監督算法（回歸，分類）
• • 1.分類(classification)與回歸(regression)的區別與關系
  • 2.線性回歸
  • 3.邏輯回歸（是一個分類算法，可處理二元分類及多元分類）
  • • 3.1邏輯回歸解決二分類問題
    • 3.2 邏輯回歸python實現并可視化
  • 4.K近鄰算法（k-nearest neighbor classification算法）
  • 5.樸素貝葉斯分類器（Naive Bayes Classifier）-判垃圾郵件
  • 6.SVM（支持向量機-線性分類器）
  • 7.決策樹（處理非線情況）
  • • 7.1使用決策樹判斷是否打golf
  • 8.隨機森林
  • 9.XGBoost
  • 10.矩陣分解--推薦系統
• 無監督學習（聚類）
• • 1.K-means聚類
  • 2.PCA

說明：貪心科技的機器學習視頻，推薦給希望入門機器學習但又找不到合適資源的小伙伴，UP主將常見的機器學習算法分析的通俗易懂，看完后收獲很多，下面是我學習的部分筆記，供以后回顧！

機器學習流程

數據清洗：丟棄異常值

特征工程：將輸入的數據比如文本，語音，圖片表示成張量的形式。

數據預處理：特征提取（提取hog直方圖，NLP中提取文字n-gram），缺失值處理（均值，使用眾數，丟棄），數據標定（歸一化，標準化）

看模型是否為線性模型，就看它的決策邊界是不是線性的。

有監督算法（回歸，分類）

1.分類(classification)與回歸(regression)的區別與關系

參考

分類通常是建立在回歸之上：例如判斷一幅圖片上的動物是一只貓還是一只狗，還是豬，需要先計算一個連續的概率值，然后分類的最后一層通常要使用softmax函數進行判斷其所屬類別。

2.線性回歸

就是找到一條直線，來擬合上面所有的點（應用：比如進行房價預測，橫坐標是面積，縱坐標是價錢）
假設線性回歸是個黑盒子，那按照程序員的思維來說，這個黑盒子就是個函數，然后呢，我們只要往這個函數傳一些參數作為輸入，就能得到一個結果作為輸出。那回歸是什么意思呢？其實說白了，就是這個黑盒子輸出的結果是個連續的值。如果輸出不是個連續值而是個離散值那就叫分類。
參考

3.邏輯回歸（是一個分類算法，可處理二元分類及多元分類）

視頻
前面講到模型輸出是連續值就是回歸，輸出是離散值就是分類！
邏輯回歸雖然叫回歸，但通常干的是分類的活，與回歸最大的聯系就是：在線性回歸上套了一個邏輯函數，就得到邏輯回歸，輸出的是一個連續的值wx+b，用這個連續的值+sigmoid進行概率計算，然后再分類。
邏輯回歸的目標函數就是極大化似然函數

3.1邏輯回歸解決二分類問題

分類問題：就是一個條件概率問題，主要解決：1.如何定義這個條件概率（使用什么函數f）2.根據條件概率如何分類



邏輯回歸的決策邊界是線性的，所以邏輯回歸是線性的




在進行梯度下降時，GD考慮的是全部樣本，SGD考慮的是單個樣本，MBGD就是折中的每次迭代考慮一小批。

3.2 邏輯回歸python實現并可視化

視頻1
博客

4.K近鄰算法（k-nearest neighbor classification算法）

5.樸素貝葉斯分類器（Naive Bayes Classifier）-判垃圾郵件

樸素貝葉斯分類（NBC）是以貝葉斯定理為基礎并且假設特征條件之間相互獨立的方法，先通過已給定的訓練集，以特征詞之間獨立作為前提假設，學習從輸入到輸出的聯合概率分布，再基于學習到的模型，輸入x求出使得后驗概率最大的輸出y。
通過先驗概率和條件概率，求得未知分類的后驗概率，利用后驗概率進行分類

6.SVM（支持向量機-線性分類器）

邏輯回歸也線性分類器，它考慮的是每一個數據，SVM線性分類器只考慮支持向量，只考慮邊界上具有代表性的點（最好是三個點確定唯一性）。

若數據的位置發生變化，則邏輯回歸的w,b也要發生變化，但SVM不會變化，也就是說SVM對奇異值不敏感。

7.決策樹（處理非線情況）

將不同的條件當成節點構建一棵樹，然后進行分類，因為節點有多個，那么如何構建一棵樹才是最合理的呢：即保證信息增益最大化
信息增益=信息熵-條件熵。

7.1使用決策樹判斷是否打golf

8.隨機森林

隨機森林同時訓練多個決策樹,預測的時候,綜合考慮多個結果做預測.例如取多個結果的均值(回歸情況),或者眾數(分類情況)

隨機森林的隨機體現在每次生成決策樹時，只使用一部分訓練數據集（有放回的）比如70%，再者隨機性體現在選擇分叉特征時，也只使用一部分特征，比如一共4個特征，那么生成決策樹時只使用3個特征。

減小過擬合，減小預測結果因為訓練數據小的變化帶來的影響

9.XGBoost

XGBoost（eXtreme Gradient Boosting）全名叫極端梯度提升，XGBoost是集成學習方法的王牌，在Kaggle數據挖掘比賽中，大部分獲勝者用了XGBoost，XGBoost在絕大多數的回歸和分類問題上表現的十分頂尖，主要是一種殘差思想。
參考

10.矩陣分解–推薦系統

無監督學習（聚類）

1.K-means聚類

K-means聚類包含兩部分：

k-means就是將樣本分為 k類，所以先隨機選k個點，作為初始化的中心點，每個點就是一個group

接下來就是一個迭代的過程，a.計算每個點到中心點的距離，并根據最近原則將所有點進行分組
b.針對每一組的點計算它們的均值得到新的中心點。

最后就是迭代的過程，根據新的中心點進行聚類，再獲得新的中心點，直到中心點不發生變化，聚類結束

K-means一個點就屬于一個group，hard clusting
GMM與K-means相似，只不過一個點可能屬于多個類，每個類的喜好不同

2.PCA

視頻

總結

以上是生活随笔為你收集整理的机器学习视频推荐-绝对的通俗易懂（线性回归，逻辑回归，朴素贝叶斯分类器，K-近邻，SVM，决策树，随机森林，XGboost，k-means聚类）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。