1.1 训练/开发/测试集-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
| 4.9 總結(jié)習(xí)題 (第一課) | 回到目錄 | 1.2 偏差/方差 |
訓(xùn)練/開(kāi)發(fā)/測(cè)試集 (Train/Dev/Test Sets)
大家可能已經(jīng)了解了，那么本周，我們將繼續(xù)學(xué)習(xí)如何有效運(yùn)作神經(jīng)網(wǎng)絡(luò)，內(nèi)容涉及超參數(shù)調(diào)優(yōu)，如何構(gòu)建數(shù)據(jù)，以及如何確保優(yōu)化算法快速運(yùn)行，從而使學(xué)習(xí)算法在合理時(shí)間內(nèi)完成自我學(xué)習(xí)。
第一周，我們首先說(shuō)說(shuō)神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)中的問(wèn)題，然后是隨機(jī)神經(jīng)網(wǎng)絡(luò)，還會(huì)學(xué)習(xí)一些確保神經(jīng)網(wǎng)絡(luò)正確運(yùn)行的技巧，帶著這些問(wèn)題，我們開(kāi)始今天的課程。
在配置訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集的過(guò)程中做出正確決策會(huì)在很大程度上幫助大家創(chuàng)建高效的神經(jīng)網(wǎng)絡(luò)。訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，我們需要做出很多決策，例如：
創(chuàng)建新應(yīng)用的過(guò)程中，我們不可能從一開(kāi)始就準(zhǔn)確預(yù)測(cè)出這些信息和其他超級(jí)參數(shù)。實(shí)際上，應(yīng)用型機(jī)器學(xué)習(xí)是一個(gè)高度迭代的過(guò)程，通常在項(xiàng)目啟動(dòng)時(shí)，我們會(huì)先有一個(gè)初步想法，比如構(gòu)建一個(gè)含有特定層數(shù)，隱藏單元數(shù)量或數(shù)據(jù)集個(gè)數(shù)等等的神經(jīng)網(wǎng)絡(luò)，然后編碼，并嘗試運(yùn)行這些代碼，通過(guò)運(yùn)行和測(cè)試得到該神經(jīng)網(wǎng)絡(luò)或這些配置信息的運(yùn)行結(jié)果，你可能會(huì)根據(jù)輸出結(jié)果重新完善自己的想法，改變策略，或者為了找到更好的神經(jīng)網(wǎng)絡(luò)不斷迭代更新自己的方案。
現(xiàn)如今，深度學(xué)習(xí)已經(jīng)在自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別以及結(jié)構(gòu)化數(shù)據(jù)應(yīng)用等眾多領(lǐng)域取得巨大成功。結(jié)構(gòu)化數(shù)據(jù)無(wú)所不包，從廣告到網(wǎng)絡(luò)搜索。其中網(wǎng)絡(luò)搜索不僅包括網(wǎng)絡(luò)搜索引擎，還包括購(gòu)物網(wǎng)站，從所有根據(jù)搜索欄詞條傳輸結(jié)果的網(wǎng)站。再到計(jì)算機(jī)安全，物流，比如判斷司機(jī)去哪接送貨，范圍之廣，不勝枚舉。
我發(fā)現(xiàn)，可能有自然語(yǔ)言處理方面的人才想踏足計(jì)算機(jī)視覺(jué)領(lǐng)域，或者經(jīng)驗(yàn)豐富的語(yǔ)音識(shí)別專(zhuān)家想投身廣告行業(yè)，又或者，有的人想從電腦安全領(lǐng)域跳到物流行業(yè)，在我看來(lái)，從一個(gè)領(lǐng)域或者應(yīng)用領(lǐng)域得來(lái)的直覺(jué)經(jīng)驗(yàn)，通常無(wú)法轉(zhuǎn)移到其他應(yīng)用領(lǐng)域，最佳決策取決于你所擁有的數(shù)據(jù)量，計(jì)算機(jī)配置中輸入特征的數(shù)量，用GPU訓(xùn)練還是CPU，GPU和CPU的具體配置以及其他諸多因素。
目前為止，我覺(jué)得，對(duì)于很多應(yīng)用系統(tǒng)，即使是經(jīng)驗(yàn)豐富的深度學(xué)習(xí)行家也不太可能一開(kāi)始就預(yù)設(shè)出最匹配的超級(jí)參數(shù)，所以說(shuō)，應(yīng)用深度學(xué)習(xí)是一個(gè)典型的迭代過(guò)程，需要多次循環(huán)往復(fù)，才能為應(yīng)用程序找到一個(gè)稱(chēng)心的神經(jīng)網(wǎng)絡(luò)，因此循環(huán)該過(guò)程的效率是決定項(xiàng)目進(jìn)展速度的一個(gè)關(guān)鍵因素，而創(chuàng)建高質(zhì)量的訓(xùn)練數(shù)據(jù)集，驗(yàn)證集和測(cè)試集也有助于提高循環(huán)效率。
假設(shè)這是訓(xùn)練數(shù)據(jù)，我用一個(gè)長(zhǎng)方形表示，我們通常會(huì)將這些數(shù)據(jù)劃分成幾部分，一部分作為訓(xùn)練集，一部分作為簡(jiǎn)單交叉驗(yàn)證集，有時(shí)也稱(chēng)之為驗(yàn)證集，方便起見(jiàn)，我就叫它驗(yàn)證集（dev set），其實(shí)都是同一個(gè)概念，最后一部分則作為測(cè)試集。
接下來(lái)，我們開(kāi)始對(duì)訓(xùn)練執(zhí)行算法，通過(guò)驗(yàn)證集或簡(jiǎn)單交叉驗(yàn)證集選擇最好的模型，經(jīng)過(guò)充分驗(yàn)證，我們選定了最終模型，然后就可以在測(cè)試集上進(jìn)行評(píng)估了，為了無(wú)偏評(píng)估算法的運(yùn)行狀況。
在機(jī)器學(xué)習(xí)發(fā)展的小數(shù)據(jù)量時(shí)代，常見(jiàn)做法是將所有數(shù)據(jù)三七分，就是人們常說(shuō)的70%驗(yàn)證集，30%測(cè)試集，如果沒(méi)有明確設(shè)置驗(yàn)證集，也可以按照60%訓(xùn)練，20%驗(yàn)證和20%測(cè)試集來(lái)劃分。這是前幾年機(jī)器學(xué)習(xí)領(lǐng)域普遍認(rèn)可的最好的實(shí)踐方法。
如果只有100條，1000條或者1萬(wàn)條數(shù)據(jù)，那么上述比例劃分是非常合理的。
但是在大數(shù)據(jù)時(shí)代，我們現(xiàn)在的數(shù)據(jù)量可能是百萬(wàn)級(jí)別，那么驗(yàn)證集和測(cè)試集占數(shù)據(jù)總量的比例會(huì)趨向于變得更小。因?yàn)轵?yàn)證集的目的就是驗(yàn)證不同的算法，檢驗(yàn)?zāi)姆N算法更有效，因此，驗(yàn)證集要足夠大才能評(píng)估，比如2個(gè)甚至10個(gè)不同算法，并迅速判斷出哪種算法更有效。我們可能不需要拿出20%的數(shù)據(jù)作為驗(yàn)證集。
比如我們有100萬(wàn)條數(shù)據(jù)，那么取1萬(wàn)條數(shù)據(jù)便足以進(jìn)行評(píng)估，找出其中表現(xiàn)最好的1-2種算法。同樣地，根據(jù)最終選擇的分類(lèi)器，測(cè)試集的主要目的是正確評(píng)估分類(lèi)器的性能，所以，如果擁有百萬(wàn)數(shù)據(jù)，我們只需要1000條數(shù)據(jù)，便足以評(píng)估單個(gè)分類(lèi)器，并且準(zhǔn)確評(píng)估該分類(lèi)器的性能。假設(shè)我們有100萬(wàn)條數(shù)據(jù)，其中1萬(wàn)條作為驗(yàn)證集，1萬(wàn)條作為測(cè)試集，100萬(wàn)里取1萬(wàn)，比例是1%，即：訓(xùn)練集占98%，驗(yàn)證集和測(cè)試集各占1%。對(duì)于數(shù)據(jù)量過(guò)百萬(wàn)的應(yīng)用，訓(xùn)練集可以占到99.5%，驗(yàn)證和測(cè)試集各占0.25%，或者驗(yàn)證集占0.4%，測(cè)試集占0.1%。
總結(jié)一下，在機(jī)器學(xué)習(xí)中，我們通常將樣本分成訓(xùn)練集，驗(yàn)證集和測(cè)試集三部分，數(shù)據(jù)集規(guī)模相對(duì)較小，適用傳統(tǒng)的劃分比例，數(shù)據(jù)集規(guī)模較大的，驗(yàn)證集和測(cè)試集要小于數(shù)據(jù)總量的20%或10%。后面我會(huì)給出如何劃分驗(yàn)證集和測(cè)試集的具體指導(dǎo)。
現(xiàn)代深度學(xué)習(xí)的另一個(gè)趨勢(shì)是越來(lái)越多的人在訓(xùn)練和測(cè)試集分布不匹配的情況下進(jìn)行訓(xùn)練，假設(shè)你要構(gòu)建一個(gè)用戶(hù)可以上傳大量圖片的應(yīng)用程序，目的是找出并呈現(xiàn)所有貓咪圖片，可能你的用戶(hù)都是愛(ài)貓人士，訓(xùn)練集可能是從網(wǎng)上下載的貓咪圖片，而驗(yàn)證集和測(cè)試集是用戶(hù)在這個(gè)應(yīng)用上上傳的貓的圖片，就是說(shuō)，訓(xùn)練集可能是從網(wǎng)絡(luò)上抓下來(lái)的圖片。而驗(yàn)證集和測(cè)試集是用戶(hù)上傳的圖片。結(jié)果許多網(wǎng)頁(yè)上的貓咪圖片分辨率很高，很專(zhuān)業(yè)，后期制作精良，而用戶(hù)上傳的照片可能是用手機(jī)隨意拍攝的，像素低，比較模糊，這兩類(lèi)數(shù)據(jù)有所不同，針對(duì)這種情況，根據(jù)經(jīng)驗(yàn)，我建議大家要確保驗(yàn)證集和測(cè)試集的數(shù)據(jù)來(lái)自同一分布，關(guān)于這個(gè)問(wèn)題我也會(huì)多講一些。因?yàn)槟銈円抿?yàn)證集來(lái)評(píng)估不同的模型，盡可能地優(yōu)化性能。如果驗(yàn)證集和測(cè)試集來(lái)自同一個(gè)分布就會(huì)很好。
但由于深度學(xué)習(xí)算法需要大量的訓(xùn)練數(shù)據(jù)，為了獲取更大規(guī)模的訓(xùn)練數(shù)據(jù)集，我們可以采用當(dāng)前流行的各種創(chuàng)意策略，例如，網(wǎng)頁(yè)抓取，代價(jià)就是訓(xùn)練集數(shù)據(jù)與驗(yàn)證集和測(cè)試集數(shù)據(jù)有可能不是來(lái)自同一分布。但只要遵循這個(gè)經(jīng)驗(yàn)法則，你就會(huì)發(fā)現(xiàn)機(jī)器學(xué)習(xí)算法會(huì)變得更快。我會(huì)在后面的課程中更加詳細(xì)地解釋這條經(jīng)驗(yàn)法則。
最后一點(diǎn)，就算沒(méi)有測(cè)試集也不要緊，測(cè)試集的目的是對(duì)最終所選定的神經(jīng)網(wǎng)絡(luò)系統(tǒng)做出無(wú)偏估計(jì)，如果不需要無(wú)偏估計(jì)，也可以不設(shè)置測(cè)試集。所以如果只有驗(yàn)證集，沒(méi)有測(cè)試集，我們要做的就是，在訓(xùn)練集上訓(xùn)練，嘗試不同的模型框架，在驗(yàn)證集上評(píng)估這些模型，然后迭代并選出適用的模型。因?yàn)轵?yàn)證集中已經(jīng)涵蓋測(cè)試集數(shù)據(jù)，其不再提供無(wú)偏性能評(píng)估。當(dāng)然，如果你不需要無(wú)偏估計(jì)，那就再好不過(guò)了。
在機(jī)器學(xué)習(xí)中，如果只有一個(gè)訓(xùn)練集和一個(gè)驗(yàn)證集，而沒(méi)有獨(dú)立的測(cè)試集，遇到這種情況，訓(xùn)練集還被人們稱(chēng)為訓(xùn)練集，而驗(yàn)證集則被稱(chēng)為測(cè)試集，不過(guò)在實(shí)際應(yīng)用中，人們只是把測(cè)試集當(dāng)成簡(jiǎn)單交叉驗(yàn)證集使用，并沒(méi)有完全實(shí)現(xiàn)該術(shù)語(yǔ)的功能，因?yàn)樗麄儼羊?yàn)證集數(shù)據(jù)過(guò)度擬合到了測(cè)試集中。如果某團(tuán)隊(duì)跟你說(shuō)他們只設(shè)置了一個(gè)訓(xùn)練集和一個(gè)測(cè)試集，我會(huì)很謹(jǐn)慎，心想他們是不是真的有訓(xùn)練驗(yàn)證集，因?yàn)樗麄儼羊?yàn)證集數(shù)據(jù)過(guò)度擬合到了測(cè)試集中，讓這些團(tuán)隊(duì)改變叫法，改稱(chēng)其為“訓(xùn)練驗(yàn)證集”，而不是“訓(xùn)練測(cè)試集”，可能不太容易。即便我認(rèn)為“訓(xùn)練驗(yàn)證集“在專(zhuān)業(yè)用詞上更準(zhǔn)確。實(shí)際上，如果你不需要無(wú)偏評(píng)估算法性能，那么這樣是可以的。
所以說(shuō)，搭建訓(xùn)練驗(yàn)證集和測(cè)試集能夠加速神經(jīng)網(wǎng)絡(luò)的集成，也可以更有效地衡量算法地偏差和方差，從而幫助我們更高效地選擇合適方法來(lái)優(yōu)化算法。
課程PPT
| 4.9 總結(jié)習(xí)題 (第一課) | 回到目錄 | 1.2 偏差/方差 |
總結(jié)
以上是生活随笔為你收集整理的1.1 训练/开发/测试集-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 0.0 目录-深度学习第二课《改善神经网
- 下一篇： 梳理百年深度学习发展史-七月在线机器学习