机器学习项目笔记
項(xiàng)目清單:
1. 商業(yè)目標(biāo)
2. 劃定問(wèn)題 監(jiān)督或非監(jiān)督,還是強(qiáng)化學(xué)習(xí)。
3. 選擇什么算法 回歸還是分類, 數(shù)據(jù)量小可使用單機(jī)內(nèi)存的 批量計(jì)算, 數(shù)據(jù)量大使用分布式的MapReduce 線上計(jì)算。
4. 評(píng)估模型性能的指標(biāo)
?
對(duì)于回歸問(wèn)題:
?
?當(dāng)異常值較多時(shí), 應(yīng)更多采用L1 范數(shù)的指標(biāo):
?
嶺回歸:
?
嶺回歸(也稱為 Tikhonov 正則化 ?屬于L2范數(shù))是線性回歸的正則化版:在損失函數(shù)上直接加上一個(gè)正則項(xiàng) 。
當(dāng)a=0時(shí),為線性回歸, 當(dāng)a無(wú)限大時(shí),模型的所有參數(shù)為0 。
注意當(dāng)增大的時(shí)候,導(dǎo)致預(yù)測(cè)曲線變得扁平(即少了極端值,多了一般值),這樣減少了模型的方差,卻增加了模型的偏差。
?
Lasso 回歸:
在損失函數(shù)上加 L1 范數(shù)。
?
彈性網(wǎng)絡(luò)(ElasticNet):
彈性網(wǎng)絡(luò)介于 Ridge 回歸和 Lasso 回歸之間。
?
早期停止法(Early Stopping):
一旦驗(yàn)證錯(cuò)誤達(dá)到最小值,便提早停止訓(xùn)練。
?
邏輯回歸:
?
?
支持向量機(jī)
?
?
?
5. 要花多少精力進(jìn)行微調(diào)
轉(zhuǎn)載于:https://www.cnblogs.com/ruili07/p/9474194.html
總結(jié)
- 上一篇: 学习笔记(35):Python网络编程并
- 下一篇: 文泉驿微米黑的安装