周志華西瓜書學(xué)習(xí)筆記

第一章 緒論

數(shù)據(jù)處理分為三個(gè)階段：收集，分析，預(yù)測。

一、基本概念

機(jī)器學(xué)習(xí)致力于研究如何通過計(jì)算的手段，利用經(jīng)驗(yàn)來改善系統(tǒng)自身的性能。

Mitchell給出的更形式化的定義為：假設(shè)用P來評(píng)估計(jì)算機(jī)程序在某任務(wù)T上的性能，若一個(gè)程序通過利用經(jīng)驗(yàn)E在T中獲得了性能改善，我們就可以說T和P，該程序?qū)進(jìn)行了學(xué)習(xí)。

（一）泛化（generalization）

學(xué)得的模型適用于新樣本的能力，稱之為泛化能力。具有強(qiáng)泛化能力的模型能夠更好地使用于整個(gè)樣本空間。

（二）獨(dú)立同分布（i.i.d）

通常假設(shè)樣本空間的全體樣本服從一個(gè)未知的分布（distribution），我們獲得的每一個(gè)樣本都是從整個(gè)樣本空間中采樣獲得的，即“獨(dú)立同分布”（independent and identically distributed, i.i.d)

二、假設(shè)空間大小計(jì)算

以文中的西瓜為例，求出假設(shè)空間：

這里我們的假設(shè)空間由形如“（色澤=？）^ （根蒂=?）^（敲聲=？）”的可能取值所形成的假設(shè)組成。

色澤有“青綠”和“烏黑”兩種取值，還需考慮無論色澤取什么值都合適的情況，用通配符（*）表示。色澤屬性共三種取值；

根蒂有“蜷縮”、“硬挺”和“稍蜷”三種取值，同理再加通配符（*）表示，根蒂屬性共四種取值；

敲聲有“濁響”、“清脆”和“沉悶”三種取值，同理再加通配符（*）表示，敲聲屬性共四種取值；

還有一種假設(shè)組成——可能"好瓜”這個(gè)概念就不成立，我們用?表示這種假設(shè)。

那么，所對(duì)應(yīng)的假設(shè)組成的個(gè)數(shù)為：3x4x4+1=49. 即表1所對(duì)應(yīng)的假設(shè)空間的規(guī)模大小為49. 其中：

具體假設(shè)： 2x3x3=18 種

一個(gè)通配符：2x3+3x3+2x3=21種

兩個(gè)通配符：2+3+3=8 種

三個(gè)通配符：1種

概念不存在：1種

三、歸納偏好（inductive bias）

機(jī)器學(xué)習(xí)中對(duì)于某種假設(shè)類型具有特殊的偏好，成為歸納偏好（inductive bias），任何一個(gè)有效的機(jī)器學(xué)習(xí)算法必然都有其歸納偏好，否則無法產(chǎn)生確定的有意義的學(xué)習(xí)效果，會(huì)被“等效”的各個(gè)假設(shè)所迷惑。

（一）歸納原則——奧卡姆剃刀（Occam’s razor）

Occam’s razor是自然科學(xué)研究中最基本的原則，“若有多個(gè)假設(shè)與觀察結(jié)果意志，則選用最簡單的那個(gè)”，更平滑意味著更簡單。

（二）沒有免費(fèi)的午餐定理——NFL（No Free Lunch）定理

對(duì)于某一個(gè)算法A，在一些問題上的表現(xiàn)優(yōu)于算法B，必然存在某些問題的表現(xiàn)劣于算法B。

NFL定理出現(xiàn)前提：所有問題出現(xiàn)機(jī)會(huì)相同，所有問題同等重要。
NFL定理的意義是：脫離了問題本身，討論哪種算法更好將沒有任何意義。若考慮所有潛在問題，所有算法一樣好，要談?wù)撍惴ǖ膬?yōu)劣，必須要針對(duì)具體的學(xué)習(xí)問題。

總結(jié)

以上是生活随笔為你收集整理的周志华西瓜书学习笔记(一)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。