(mnist 0 ,2)---81*30*2---(1,0)(0,1)

分類mnist的0和2。讓訓(xùn)練集的數(shù)量n分別等于5000,4500,4000,3500,3000,2500,2000,1500,1000,500,400,300,200,100,50,40,30,20,10,5,4,3,2共22個(gè)值。觀察n是如何影響迭代次數(shù)的分布的。

?

讓收斂標(biāo)準(zhǔn)δ等于1e-5，數(shù)據(jù)已經(jīng)在<神經(jīng)網(wǎng)絡(luò)訓(xùn)練集量最少可以是多少個(gè)？>里算出來(lái)了。

首先觀察n=5000的圖片

讓網(wǎng)絡(luò)在1e-5處收斂了199次，只有12個(gè)不同的迭代次數(shù)，其中7604出現(xiàn)了83次。出現(xiàn)了高度簡(jiǎn)并的現(xiàn)象。

無(wú)論n怎么變化都有這種簡(jiǎn)并現(xiàn)象嗎？

當(dāng)n=2時(shí)，有199個(gè)不同的迭代次數(shù)，迭代次數(shù)沒(méi)有簡(jiǎn)并現(xiàn)象。

?

當(dāng)n=3時(shí)，同樣有199個(gè)不同的迭代次數(shù)，沒(méi)有簡(jiǎn)并。

當(dāng)n=4時(shí)，有195個(gè)不同的迭代次數(shù)，其中179751，181035，188895，190863都出現(xiàn)了兩次，第一次出現(xiàn)了簡(jiǎn)并的現(xiàn)象。

當(dāng)n=5時(shí)，有197個(gè)不重復(fù)的值，174435，175267出現(xiàn)了兩次。

當(dāng)n=10時(shí)，有185個(gè)不同的值，其中43305和47661個(gè)出現(xiàn)了3次，規(guī)律明顯當(dāng)n增大時(shí)簡(jiǎn)并度提高。

當(dāng)n=20時(shí)，有167個(gè)不同的值。

當(dāng)n=30時(shí)，有141個(gè)不同的值。

當(dāng)n=40時(shí)，有102個(gè)不同的值。其中13270出現(xiàn)了10次。

當(dāng)n=50時(shí)，有71個(gè)不同的值。

當(dāng)n=100時(shí)，有27個(gè)不同的值，

7086	7284	7482	7680	7878	8076	8274	8472	8670	8868	9066	9264	9462	9660	9858	10056	10254	10452	10650	10848	11046	11244	11442	11640	12828	13224	15798
?	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	1188	396	2574

這27個(gè)值的差值都是198的倍數(shù)。

當(dāng)n=200時(shí)，只有14個(gè)不同的值

4668	4682	5066	5080	5464	5478	5862	5876	6260	6274	6658	6672	7056	7454
?	14	384	14	384	14	384	14	384	14	384	14	384	398

這14個(gè)值只有14，384，398這3個(gè)間距。

當(dāng)n=300時(shí)，只有14個(gè)不同的值，

5088	5672	5686	6270	6284	6868	6882	7094	7466	7480	8064	8078	8290	8662
?	584	14	584	14	584	14	212	372	14	584	14	212	372

出現(xiàn)了14，212，372，584共4個(gè)間距

當(dāng)n=400時(shí)，有11個(gè)不同的值，

當(dāng)n=500時(shí)，有18個(gè)不同的值。

當(dāng)n=1000時(shí)，有12個(gè)不同的值

當(dāng)n=1500時(shí)，有17個(gè)不同的值

當(dāng)n=2000時(shí)，有16個(gè)不同的值。

當(dāng)n=2500時(shí)，有13個(gè)不同的值

當(dāng)n=3000時(shí)，有14個(gè)不同的值

當(dāng)n=3500時(shí)，有10個(gè)不同的值

當(dāng)n=4000時(shí)，有7個(gè)不同的值

當(dāng)n=4500時(shí)，有13個(gè)不同的值。

?

統(tǒng)計(jì)迭代次數(shù)不同值的數(shù)量對(duì)n的變化

n	5000	4500	4000	3500	3000	2500	2000	1500	1000	500	400	300	200	100	50	40	30	20	10	5	4	3	2
不同值的數(shù)量	12	13	7	10	14	13	16	17	12	18	11	14	14	27	71	102	141	167	185	197	195	199	199

?

很明顯10<=n<=200,是迭代次數(shù)的分布的過(guò)度區(qū)間，當(dāng)n>200個(gè)以后迭代次數(shù)不同值就維持在約13個(gè)，在前文<神經(jīng)網(wǎng)絡(luò)訓(xùn)練集量最少可以是多少個(gè)？>已經(jīng)證實(shí)5000到200隨著n的減小迭代次數(shù)減小，n=200應(yīng)該是保持這個(gè)網(wǎng)絡(luò)基本特征的最小n值。

而光譜的等距變化區(qū)間就出現(xiàn)在過(guò)度區(qū)間，因此神經(jīng)網(wǎng)絡(luò)光譜隨著n的增加，由等距變化變?yōu)椴坏染嘧兓?/p>

?

總結(jié)

以上是生活随笔為你收集整理的训练集数量对神经网络光谱的影响的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。