由隐藏层节点数引起的网络准确率的不规则变化02
(0，2)-81*n*2-(1,0)(0,1)
做一個分類mnist 0，2的二分類三層網(wǎng)絡，隱藏層節(jié)點數(shù)由3-1000共實驗了59組值。固定收斂標準δ=1e-6,每組值迭代1999次，統(tǒng)計平均分類準確率pave和迭代次數(shù)的分布。
?
統(tǒng)計得到的表格
| 隱藏層節(jié)點數(shù) | 迭代次數(shù)的均值 | 平均分類準確率 | δ | 耗時ms/次 | 峰值占比% | 不同峰值數(shù)量 | 1/n^2 |
| 3 | 178616.4877 | 0.986592451 | 1.00E-06 | 796.08804 | 6.8 | 683 | 0.111111 |
| 5 | 117136.8594 | 0.98855914 | 1.00E-06 | 621.7969 | 2.8 | 674 | 0.04 |
| 10 | 80329.23862 | 0.988490518 | 1.00E-06 | 583.22361 | 18.4 | 162 | 0.01 |
| 20 | 56105.15958 | 0.987261772 | 1.00E-06 | 732.94347 | 46.5 | 40 | 0.0025 |
| 30 | 34663.66183 | 0.985049185 | 1.00E-06 | 606.98649 | 36.7 | 23 | 0.001111 |
| 40 | 18375.36068 | 0.983432571 | 1.00E-06 | 453.7964 | 37.9 | 13 | 0.000625 |
| 50 | 12000.17909 | 0.982436049 | 1.00E-06 | 382.18659 | 34.1 | 13 | 0.0004 |
| 60 | 8716.448224 | 0.982761759 | 1.00E-06 | 335.53677 | 62.5 | 8 | 0.000278 |
| 70 | 7765.041521 | 0.981953203 | 1.00E-06 | 357.97199 | 82.3 | 6 | 0.000204 |
| 80 | 7575.328664 | 0.981890548 | 1.00E-06 | 389.42671 | 80.5 | 7 | 0.000156 |
| 90 | 6987.775888 | 0.982819939 | 1.00E-06 | 417.70035 | 47 | 7 | 0.000123 |
| 100 | 5530.548274 | 0.98257404 | 1.00E-06 | 423.09355 | 55.3 | 9 | 0.0001 |
| 110 | 4701.468734 | 0.981943755 | 1.00E-06 | 384.8024 | 54.5 | 9 | 8.26E-05 |
| 120 | 4529.92096 | 0.981862701 | 1.00E-06 | 392.42271 | 91.8 | 5 | 6.94E-05 |
| 130 | 4516.147074 | 0.981792089 | 1.00E-06 | 511.30415 | 99.8 | 2 | 5.92E-05 |
| 150 | 4476.825413 | 0.9805621 | 1.00E-06 | 574.1906 | 95.3 | 4 | 4.44E-05 |
| 170 | 3694.712356 | 0.954447154 | 1.00E-06 | 565.87844 | 97.3 | 3 | 3.46E-05 |
| 190 | 3592.71936 | 0.95640887 | 1.00E-06 | 603.2051 | 78.9 | 4 | 2.77E-05 |
| 210 | 3288.171586 | 0.976363927 | 1.00E-06 | 629.10155 | 98.7 | 4 | 2.27E-05 |
| 230 | 3272.45923 | 0.975947964 | 1.00E-06 | 631.7939 | 90.6 | 4 | 1.89E-05 |
| 250 | 3138.144072 | 0.978781637 | 1.00E-06 | 712.0065 | 56.8 | 5 | 0.000016 |
| 270 | 2888.591296 | 0.973652084 | 1.00E-06 | 773.10255 | 51.4 | 6 | 1.37E-05 |
| 290 | 2357.346673 | 0.935567436 | 1.00E-06 | 696.62481 | 97.7 | 4 | 1.19E-05 |
| 310 | 1856.995498 | 0.929918737 | 1.00E-06 | 612.47474 | 62.5 | 2 | 1.04E-05 |
| 330 | 1556.47924 | 0.92568501 | 1.00E-06 | 606.68534 | 99.4 | 2 | 9.18E-06 |
| 350 | 1552 | 0.921664858 | 1.00E-06 | 664.22911 | 100 | 1 | 8.16E-06 |
| 370 | 1552 | 0.918690707 | 1.00E-06 | 772.15358 | 100 | 1 | 7.3E-06 |
| 390 | 1552 | 0.916166582 | 1.00E-06 | 720.62431 | 100 | 1 | 6.57E-06 |
| 410 | 1552 | 0.914367472 | 1.00E-06 | 843.29965 | 100 | 1 | 5.95E-06 |
| 430 | 1551.701351 | 0.912146928 | 1.00E-06 | 793.67234 | 99.8 | 2 | 5.41E-06 |
| 450 | 1522.433717 | 0.880051358 | 1.00E-06 | 859.56378 | 85.1 | 2 | 4.94E-06 |
| 470 | 1402.874437 | 0.754977141 | 1.00E-06 | 764.50125 | 74.9 | 2 | 4.53E-06 |
| 490 | 1347.812906 | 0.722088927 | 1.00E-06 | 886.8004 | 89.8 | 5 | 4.16E-06 |
| 510 | 1146.158579 | 0.857728317 | 1.00E-06 | 892.62881 | 50.6 | 5 | 3.84E-06 |
| 530 | 977.2226113 | 0.826342346 | 1.00E-06 | 643.85993 | 97.8 | 3 | 3.56E-06 |
| 550 | 970 | 0.82386397 | 1.00E-06 | 680.67684 | 100 | 1 | 3.31E-06 |
| 570 | 970 | 0.822728213 | 1.00E-06 | 702.85343 | 100 | 1 | 3.08E-06 |
| 590 | 970 | 0.822263766 | 1.00E-06 | 722.5923 | 100 | 1 | 2.87E-06 |
| 610 | 970 | 0.822133731 | 1.00E-06 | 736.7959 | 100 | 1 | 2.69E-06 |
| 630 | 970 | 0.822198624 | 1.00E-06 | 735.29915 | 100 | 1 | 2.52E-06 |
| 650 | 970 | 0.822440544 | 1.00E-06 | 798.82191 | 100 | 1 | 2.37E-06 |
| 670 | 970 | 0.82361832 | 1.00E-06 | 850.35468 | 100 | 1 | 2.23E-06 |
| 690 | 970 | 0.824684708 | 1.00E-06 | 854.21961 | 100 | 1 | 2.1E-06 |
| 710 | 969.873937 | 0.826557165 | 1.00E-06 | 894.21061 | 99.8 | 2 | 1.98E-06 |
| 730 | 968.3561781 | 0.830087758 | 1.00E-06 | 912.29165 | 98.1 | 3 | 1.88E-06 |
| 750 | 946.4872436 | 0.851308358 | 1.00E-06 | 929.28664 | 82.9 | 4 | 1.78E-06 |
| 770 | 809.911956 | 0.929636538 | 1.00E-06 | 851.93297 | 51.7 | 7 | 1.69E-06 |
| 790 | 716.0025013 | 0.963690593 | 1.00E-06 | 853.78639 | 88.2 | 7 | 1.6E-06 |
| 810 | 690.8169085 | 0.965884533 | 1.00E-06 | 890.66033 | 82.7 | 5 | 1.52E-06 |
| 830 | 679.128064 | 0.95942877 | 1.00E-06 | 874.05003 | 75.3 | 5 | 1.45E-06 |
| 850 | 615.8854427 | 0.869436458 | 1.00E-06 | 898.92997 | 64.6 | 7 | 1.38E-06 |
| 870 | 525.803902 | 0.763393128 | 1.00E-06 | 798.73787 | 36.9 | 6 | 1.32E-06 |
| 890 | 331.6188094 | 0.556186393 | 1.00E-06 | 789.82491 | 80.1 | 8 | 1.26E-06 |
| 910 | 267.3936968 | 0.490041243 | 1.00E-06 | 709.89045 | 99 | 6 | 1.21E-06 |
| 930 | 264.8129065 | 0.494703117 | 1.00E-06 | 766.3942 | 98.3 | 2 | 1.16E-06 |
| 950 | 264.1690845 | 0.520551031 | 1.00E-06 | 743.35218 | 92.4 | 2 | 1.11E-06 |
| 970 | 263.4097049 | 0.550442219 | 1.00E-06 | 760.8024 | 85.5 | 2 | 1.06E-06 |
| 990 | 261.1205603 | 0.639628711 | 1.00E-06 | 820.14357 | 64.7 | 2 | 1.02E-06 |
| 1000 | 257.9674837 | 0.762096754 | 1.00E-06 | 814.48074 | 63.9 | 2 | 0.000001 |
?
Pave
這次實驗n=5時pave取得最大pave=0.988559140405195，觀察圖片pave隨n的增加至少有比較明顯的兩個谷和一個峰，表現(xiàn)了非常不規(guī)則的變化，也就是在固定δ的情況下說n越大網(wǎng)絡性能越強或者說n越小網(wǎng)絡分辨性能越強都是不準確的。
峰值占比
這條曲線一個比較有價值的分割點是n=60，當n>60以后最大峰值占比就幾乎都是大于40%，
而峰值占比小于20%的只有3組數(shù)據(jù)分別是n=3，5，10而這三組數(shù)據(jù)的平均分辨準確率也是所有59組數(shù)據(jù)中排名位于3，1，2的前三組數(shù)據(jù)。這個現(xiàn)象也證實了峰值占比和分辨準確率之間的強烈的正相關關系。
?
不同峰值數(shù)量
這組數(shù)據(jù)變化幅度非常大暗示和1/n^2之一強烈的關系。不同峰值數(shù)量大于100的只有3，5，10這3組數(shù)據(jù)。
這個現(xiàn)象提供了無需測試集找到網(wǎng)絡最優(yōu)結(jié)構(gòu)的迭代思路：
在固定收斂標準下，在相同的迭代次數(shù)內(nèi)，如果A網(wǎng)絡的不同峰值數(shù)量>B網(wǎng)絡的不同峰值數(shù)量，則A網(wǎng)絡性能優(yōu)于B網(wǎng)絡。
?
?
?
?
?
?
?
?
?
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的由隐藏层节点数引起的网络准确率的不规则变化02的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 平均分辨准确率对网络隐藏层节点数的非线性
- 下一篇： 保险佣金怎么算