這次用于實驗隱藏層節(jié)點數(shù)對網(wǎng)絡(luò)性能的影響，訓(xùn)練集用的是mnist的訓(xùn)練集的0和1，測試集用的mnist的測試集的0和1，學(xué)習(xí)率固定位0.1，batchsize=20，訓(xùn)練集不加噪音。得到的數(shù)據(jù)

網(wǎng)絡(luò)結(jié)構(gòu)	81*1*2	81*2*2	81*5*2	81*10*2	81*20*2	81*60*2	81*100*2	81*200*2
訓(xùn)練集	全樣品集	全樣品集	全樣品集	全樣品集	全樣品集	全樣品集	全樣品集	全樣品集
測試集	全測試集	全測試集	全測試集	全測試集	全測試集	全測試集	全測試集	全測試集
學(xué)習(xí)率	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1
batchsize	z=20	z=20	z=20	z=20	z=20	z=20	z=20	z=20
*	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000
?	?	?	?	?	?	?	?	?
平均值	0.890799	0.897682	0.885218	0.894702	0.888931	0.894205	0.898368	0.900473
標準差	0.025011	0.014667	0.020437	0.015017	0.030596	0.019669	0.019298	0.018502
最大值	0.910596	0.911069	0.901135	0.913434	0.913434	0.913907	0.912961	0.912961
?	?	?	?	?	?	?	?	?
訓(xùn)練集噪音比例	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0
測試集噪音比例	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0

得到結(jié)論隱藏層的節(jié)點數(shù)對網(wǎng)絡(luò)性能沒有太大影響，是多少不重要，甚至很讓人意外的是即便隱藏層只有1個節(jié)點網(wǎng)絡(luò)的性能也可能很好，雖然一個節(jié)點的隱藏層很容易過擬合，但是隱藏層節(jié)點少一點無疑會極大的加快速度，綜合前兩次實驗，很顯然一個好的網(wǎng)絡(luò)就是一個大的batchsize和一個小的隱藏層節(jié)點數(shù)同時訓(xùn)練集不加噪音。

具體數(shù)據(jù)

81*1*2	0.805109	0	81*2*2	0.853832	0	81*5*2	0.885525	0	81*10*2	0.878903	0
全樣品集	0.871334	1	全樣品集	0.899243	1	全樣品集	0.864711	1	全樣品集	0.879376	1
全測試集	0.879376	2	全測試集	0.897824	2	全測試集	0.866604	2	全測試集	0.896405	2
ret=0.1	0.902081	3	ret=0.1	0.900189	3	ret=0.1	0.810785	3	ret=0.1	0.886471	3
z=20	0.880322	4	z=20	0.906339	4	z=20	0.901135	4	z=20	0.892148	4
it=10000	0.845317	5	it=10000	0.894513	5	it=10000	0.881741	5	it=10000	0.9035	5
average	0.892621	6	average	0.901135	6	average	0.89877	6	average	0.866604	6
0.890799	0.896878	7	0.897682	0.899243	7	0.885218	0.895459	7	0.894702	0.886471	7
stdevp	0.893567	8	stdevp	0.903974	8	stdevp	0.890728	8	stdevp	0.900189	8
0.025011	0.910596	9	0.014667	0.892148	9	0.020437	0.895459	9	0.015017	0.899243	9
max	0.899716	10	max	0.899716	10	max	0.883633	10	max	0.905866	10
0.910596	0.907285	11	0.911069	0.858562	11	0.901135	0.899716	11	0.913434	0.859981	11
*	0.894513	12	*	0.908231	12	*	0.890255	12	*	0.909177	12
zx=0	0.905866	13	zx=0	0.910596	13	zx=0	0.89404	13	zx=0	0.906339	13
zy=0	0.903027	14	zy=0	0.908231	14	zy=0	0.885998	14	zy=0	0.913434	14
*	0.902081	15	*	0.900189	15	*	0.866604	15	*	0.903027	15
*	0.900662	16	*	0.904447	16	*	0.900662	16	*	0.90492	16
*	0.90965	17	*	0.900189	17	*	0.896878	17	*	0.879849	17
*	0.907758	18	*	0.903974	18	*	0.89877	18	*	0.909177	18
*	0.908231	19	*	0.911069	19	*	0.896878	19	*	0.912961	19

81*20*2	0.83964	0	81*60*2	0.829234	0	81*100*2	0.885052	0	81*200*2	0.828288	0
全樣品集	0.877956	1	全樣品集	0.891202	1	全樣品集	0.857616	1	全樣品集	0.891675	1
全測試集	0.891675	2	全測試集	0.905393	2	全測試集	0.905393	2	全測試集	0.90965	2
ret=0.1	0.883633	3	ret=0.1	0.900662	3	ret=0.1	0.907758	3	ret=0.1	0.909177	3
z=20	0.894986	4	z=20	0.888363	4	z=20	0.904447	4	z=20	0.905393	4
it=10000	0.787133	5	it=10000	0.866604	5	it=10000	0.906812	5	it=10000	0.888363	5
average	0.901608	6	average	0.900189	6	average	0.908704	6	average	0.894513	6
0.888931	0.865184	7	0.894205	0.893567	7	0.898368	0.905393	7	0.900473	0.902081	7
stdevp	0.85667	8	stdevp	0.903974	8	stdevp	0.888363	8	stdevp	0.911542	8
0.030596	0.906339	9	0.019669	0.871334	9	0.019298	0.9035	9	0.018502	0.90492	9
max	0.909177	10	max	0.906339	10	max	0.888363	10	max	0.912488	10
0.913434	0.897824	11	0.913907	0.907285	11	0.912961	0.904447	11	0.912961	0.912961	11
*	0.912961	12	*	0.910596	12	*	0.910596	12	*	0.882214	12
zx=0	0.901135	13	zx=0	0.912488	13	zx=0	0.912488	13	zx=0	0.905393	13
zy=0	0.906812	14	zy=0	0.901135	14	zy=0	0.83491	14	zy=0	0.909177	14
*	0.911069	15	*	0.906339	15	*	0.905393	15	*	0.908704	15
*	0.906339	16	*	0.877483	16	*	0.912961	16	*	0.907758	16
*	0.912488	17	*	0.913907	17	*	0.906812	17	*	0.910123	17
*	0.902554	18	*	0.904447	18	*	0.908231	18	*	0.907758	18
*	0.913434	19	*	0.893567	19	*	0.910123	19	*	0.907285	19

總結(jié)

以上是生活随笔為你收集整理的深度学习DL调参隐藏层节点数对网络性能的影响的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。