神经网络的光谱
做一個網絡分類mnist的0和2
(mnist 0 ,mnist2)81-30-2-(1,0) || (0,1)
將28*28的圖片縮小成9*9，三層網絡的結構分別是81*30*2，讓0向（1，0）收斂，讓2向（0，1）收斂。
這個網絡的迭代結束條件是
|輸出函數-目標函數|<δ
讓δ=1e-6,重復199次，記錄每次的迭代次數和準確率。
由此可以得到199次收斂對應的迭代次數，迭代次數的分布是否有規律?
共做了10次實驗，平均數據統計如下
| ? | f2[0] | f2[1] | 迭代次數n | 誤差 | 平均準確率p-ave | 誤差 | δ | 耗時ms/次 | 最大值p-max | 誤差 |
| 0 | 7.92E-07 | 0.999999 | 35222.24 | 0.0108727 | 0.985094 | 4.08211E-05 | 1E-06 | 648.3166 | 0.987575 | 0.000106 |
| 1 | 8.19E-07 | 0.999999 | 34608.55 | 0.00674 | 0.984977 | 7.83461E-05 | 1E-06 | 660.397 | 0.987575 | 0.000106 |
| 2 | 8E-07 | 0.999999 | 35509.29 | 0.0191109 | 0.985092 | 3.82856E-05 | 1E-06 | 667.7387 | 0.987575 | 0.000106 |
| 3 | 7.88E-07 | 0.999999 | 34618.64 | 0.0064505 | 0.985092 | 3.82856E-05 | 1E-06 | 645.9447 | 0.988072 | 0.00061 |
| 4 | 7.97E-07 | 0.999999 | 35521.67 | 0.0194662 | 0.985047 | 7.35287E-06 | 1E-06 | 652.4322 | 0.987575 | 0.000106 |
| 5 | 8.04E-07 | 0.999999 | 35217.87 | 0.0107472 | 0.985064 | 1.03954E-05 | 1E-06 | 659.6834 | 0.987575 | 0.000106 |
| 6 | 7.97E-07 | 0.999999 | 34698.27 | 0.0041651 | 0.985077 | 2.30728E-05 | 1E-06 | 639.2714 | 0.987575 | 0.000106 |
| 7 | 8E-07 | 0.999999 | 34030.9 | 0.0233185 | 0.985027 | 2.76366E-05 | 1E-06 | 628.0603 | 0.988569 | 0.001113 |
| 8 | 8.01E-07 | 0.999999 | 34376.71 | 0.0133938 | 0.98504 | 1.49593E-05 | 1E-06 | 635.2513 | 0.987575 | 0.000106 |
| 9 | 8.06E-07 | 0.999999 | 34629.84 | 0.0061291 | 0.985032 | 2.25657E-05 | 1E-06 | 657.6784 | 0.985032 | 0.002468 |
從誤差看這個網絡的穩定性還是有保證的，這199次的迭代次數是如何分布的？第0號實驗為例
| 0 | ? |
| 峰值 | 數量 |
| 17600 | 6 |
| 18466 | 10 |
| 24606 | 5 |
| 27596 | 49 |
| 28462 | 6 |
| 34602 | 6 |
| 37592 | 74 |
| 42208 | 1 |
| 44598 | 4 |
| 47588 | 32 |
| 52204 | 1 |
| 57584 | 5 |
比如第0號實驗共出現了12個數值，其中27596，37592，47588出現的次數最多，可以把這張表整理成圖
從這種圖中可以明顯的看到三個主峰，所以是不是剩余的9次實驗的數據也有類似的規律？
| 0 | ? | 1 | ? | 2 | ? | 3 | ? | 4 | ? | 5 | ? | 6 | ? | 7 | ? | 8 | ? | 9 | ? |
| 峰值 | 數量 | 峰值 | 數量 | 峰值 | 數量 | 峰值 | 數量 | 峰值 | 數量 | 峰值 | 數量 | 峰值 | 峰值 | 數量 | 峰值 | 數量 | 峰值 | 數量 | 峰值 |
| 17600 | 6 | 17600 | 7 | 17600 | 9 | 17600 | 4 | 17600 | 5 | 17600 | 3 | 17600 | 4 | 17600 | 11 | 17600 | 5 | 17600 | 7 |
| 18466 | 10 | 18466 | 11 | 18466 | 5 | 18466 | 6 | 18466 | 5 | 18466 | 7 | 18466 | 8 | 18466 | 8 | 18466 | 8 | 18466 | 7 |
| 24606 | 5 | 24606 | 7 | 24606 | 7 | 24606 | 4 | 24606 | 10 | 24606 | 5 | 24606 | 6 | 24606 | 7 | 24606 | 6 | 24606 | 8 |
| 27596 | 49 | 27596 | 54 | 27596 | 53 | 27596 | 71 | 27596 | 52 | 27596 | 52 | 27596 | 61 | 27596 | 59 | 27596 | 66 | 27596 | 53 |
| 28462 | 6 | 28462 | 2 | 28462 | 1 | 28462 | 6 | 28462 | 3 | 28462 | 4 | 28462 | 4 | 28462 | 5 | 28462 | 6 | 28462 | 4 |
| 34602 | 6 | 34602 | 6 | 34602 | 8 | 34602 | 3 | 34602 | 7 | 34602 | 6 | 34602 | 5 | 34602 | 10 | 34602 | 8 | 34602 | 5 |
| 37592 | 74 | 37592 | 71 | 37592 | 69 | 37592 | 64 | 37592 | 72 | 37592 | 87 | 37592 | 72 | 37592 | 60 | 37592 | 58 | 37592 | 81 |
| 42208 | 1 | 44598 | 7 | 44598 | 4 | 38458 | 1 | 44598 | 5 | 44598 | 3 | 38458 | 1 | 40288 | 1 | 44598 | 5 | 42208 | 1 |
| 44598 | 4 | 47588 | 30 | 47588 | 37 | 40288 | 1 | 47588 | 34 | 47588 | 29 | 42208 | 1 | 44598 | 4 | 47588 | 34 | 44598 | 4 |
| 47588 | 32 | 52204 | 1 | 54594 | 1 | 44598 | 4 | 50284 | 1 | 50284 | 1 | 44598 | 3 | 47502 | 1 | 52204 | 1 | 47588 | 24 |
| 52204 | 1 | 57584 | 3 | 57584 | 5 | 47588 | 30 | 54594 | 2 | 54594 | 1 | 47502 | 1 | 47588 | 28 | 57572 | 1 | 54594 | 1 |
| 57584 | 5 | ? | ? | ? | ? | 54594 | 1 | 57584 | 3 | 57584 | 1 | 47588 | 30 | 57584 | 5 | 57584 | 1 | 57572 | 1 |
| ? | ? | ? | ? | ? | ? | 57584 | 4 | ? | ? | ? | ? | 57584 | 3 | ? | ? | ? | ? | 57584 | 3 |
將剩余的9個實驗數據整理成圖
?
從圖中可以看到這10張圖都在27596，37592，47588三個位置有3個主峰，除了第3號和第8號三個主峰的大小關系也很穩定。
如果這個規律成立表明神經網絡對特定的收斂標準的迭代次數是穩定的，而且迭代次數的分布同樣是的穩定的。
所以為什么迭代次數的分布會有這樣的規律？一個可能的猜測，分子光譜不是連續的是因為能量是量子化的，有最小值，如果把普朗克常數理解成是大自然的一種進位規則，小于普朗克常數的數據都舍棄。而計算機的位數是有限的，這種由進位規則導致的量子化現象對計算機來說是天然存在的。
?
總結
- 上一篇： 计算多卷积核神经网络迭代次数---分类0
- 下一篇： 推拉门用单玻璃的好，还是双层玻璃的好？