模式识别理论
1: 沒有免費(fèi)的午餐: 對特定問題的先驗(yàn)認(rèn)識的條件下, 沒有最優(yōu)的分類器.
2: 丑小鴨定理: 對特定問題的先驗(yàn)認(rèn)識的條件下,沒有最優(yōu)的特征表達(dá).
3: occam' razor: 殺雞焉用牛刀? 小的剃須刀就可以了,干嗎用電鋸??? keep it simple,stupid. 簡單就是美.
??? 愛因斯坦:描述一個(gè)問題,解決一個(gè)問題,要盡可能的簡單,但不要更簡單.
??? 杜達(dá):長期的進(jìn)化過程, 使我們自身的"模式識別儀器"面臨強(qiáng)大的自然選擇的壓力---要求執(zhí)行更簡單的計(jì)算,需要更少的神經(jīng)元,花費(fèi)更短的時(shí)間,等等,導(dǎo)致我們的分類器趨向簡單的方案.
??? 沃倫.巴菲特:蓋茨的成功不在于他做了什么,而在于他沒做什么.
??????????? 一個(gè)人要專注做一件事情,理想太多了, 變得沒有理想了.
??? 總之,我們的分類器要盡可能保持簡單,因?yàn)?簡單的通常是最有效的.這是經(jīng)驗(yàn)!
4: 回歸中的偏差和方差關(guān)系
??? 4.1)
??? 偏差小: 準(zhǔn)確度高
??? 方差小: 推廣性好.
??? 4.2)
??? 曲線擬合的均方誤差 = 偏差^2 + 方差. 與兩者都有關(guān)系
5: 刀切法 和 自助法
???? 由于現(xiàn)實(shí)中,獲取樣本往往是比較困難的,怎么充分的利用好手里的現(xiàn)有的樣本???
???? 刀切法: 降低樣本中噪聲的影響.每次統(tǒng)計(jì)模型的參數(shù)信息的時(shí)候, 去掉一部分樣本.
???? 自助法: 把樣本分為多個(gè)獨(dú)立的自助集.相當(dāng)于多次重復(fù)里利用手里的樣本.
6: bagging & boosting & 基于查詢的學(xué)習(xí)
???? 略去.
7:單個(gè)分割平面的能力
?? 也就是說 線性分類面的能力???
?? 一般位置: d維空間的點(diǎn), 沒有d+1個(gè)點(diǎn)落在d-1維子空間時(shí),我們稱這些點(diǎn)處于一般位置.
?? eg: d=1,一維空間的點(diǎn). 如果沒有2兩個(gè)點(diǎn)落在0維子空間(也就是處在同一個(gè)點(diǎn)上.)
?? eg: d=2,2維空間的點(diǎn). 如果沒有3兩個(gè)點(diǎn)落在1維子空間(也就是處在同一個(gè)線上.)
?? 正是由于線性分類器的弱點(diǎn),
??? ---我們引入了非線性分類器 BP --- 改變分類面的線性關(guān)系為非線性
??? ---我們引入了SVM --- 改變樣本點(diǎn)的空間位置使之可以使用線性分類器.
?
http://www.blogjava.net/dongwq/archive/2009/11/28/304046.html
總結(jié)
