神经网络参数迁移与惯性质量
(0,1)-81*10*2-(1,0)(0,1)
作一個(gè)二分類(lèi)網(wǎng)絡(luò)分類(lèi)mnist的0和1,但用這個(gè)網(wǎng)絡(luò)來(lái)分類(lèi)其他對(duì)象,比如(0,2),(0,3),(0,4),實(shí)現(xiàn)參數(shù)遷移。這種操作是否有什么物理意義?
?
通過(guò)固定收斂標(biāo)準(zhǔn)多次測(cè)量取平均值的辦法計(jì)算這個(gè)網(wǎng)絡(luò)分類(lèi)02,03,04的分類(lèi)準(zhǔn)確率,
得到表格
| ? | *01 | *01 | *01 |
| ? | *02 | *03 | *04 |
| δ | 平均準(zhǔn)確率p-ave | 平均準(zhǔn)確率p-ave | 平均準(zhǔn)確率p-ave |
| 0.5 | 0.512353 | 0.512121 | 0.506664 |
| 0.4 | 0.627911 | 0.603924 | 0.622176 |
| 0.3 | 0.673549 | 0.662784 | 0.654716 |
| 0.2 | 0.712676 | 0.68869 | 0.682039 |
| 0.1 | 0.692548 | 0.669001 | 0.651714 |
| 0.01 | 0.730491 | 0.713641 | 0.668127 |
| 0.001 | 0.723179 | 0.712227 | 0.64577 |
| 9.00E-04 | 0.718081 | 0.706366 | 0.63909 |
| 8.00E-04 | 0.71687 | 0.707 | 0.634211 |
| 7.00E-04 | 0.722214 | 0.714209 | 0.636247 |
| 6.00E-04 | 0.733733 | 0.726244 | 0.648851 |
| 5.00E-04 | 0.746641 | 0.745153 | 0.65918 |
| 4.00E-04 | 0.752255 | 0.753049 | 0.661081 |
| 3.00E-04 | 0.73962 | 0.738267 | 0.648764 |
| 2.00E-04 | 0.727032 | 0.702818 | 0.620956 |
| 1.00E-04 | 0.746646 | 0.743534 | 0.620877 |
| 9.00E-05 | 0.747875 | 0.745506 | 0.61798 |
| 8.00E-05 | 0.746586 | 0.744135 | 0.616631 |
| 7.00E-05 | 0.744785 | 0.745153 | 0.615163 |
| 6.00E-05 | 0.745402 | 0.747463 | 0.6092 |
| 5.00E-05 | 0.748634 | 0.75343 | 0.608076 |
| 4.00E-05 | 0.752413 | 0.758132 | 0.604534 |
| 3.00E-05 | 0.753641 | 0.744605 | 0.59986 |
| 2.00E-05 | 0.749476 | 0.730623 | 0.592132 |
| 1.00E-05 | 0.738791 | 0.68575 | 0.579265 |
把分類(lèi)準(zhǔn)確率畫(huà)成圖
平均分類(lèi)準(zhǔn)確率Pave? 02>03>04
按照假設(shè)2:
對(duì)應(yīng)不同的兩個(gè)對(duì)象,迭代次數(shù)越大,二者的相對(duì)速度越大;相對(duì)速度越大分類(lèi)準(zhǔn)確率越大。
?
比如當(dāng)收斂標(biāo)準(zhǔn)為1e-5的,02的分類(lèi)準(zhǔn)確率為0.738,04的分類(lèi)準(zhǔn)確率為0.579.按照假設(shè)2,可以得出02粒子對(duì)的相對(duì)速度>04粒子對(duì)的相對(duì)速度。
因?yàn)槭諗繕?biāo)準(zhǔn)是一樣的,可以合理假設(shè)對(duì)這兩個(gè)粒子對(duì)做的功是一樣的。因此可以得出02粒子對(duì)的質(zhì)量<04粒子對(duì)的質(zhì)量。
?
也就是分類(lèi)準(zhǔn)確率越大粒子對(duì)質(zhì)量越小。
因此可以假設(shè)網(wǎng)絡(luò)(0,1)-81*10*2-(1,0)(0,1)構(gòu)成的分類(lèi)場(chǎng)形成了一個(gè)慣性系統(tǒng),參數(shù)遷移相當(dāng)于測(cè)量其他對(duì)象在這個(gè)慣性系統(tǒng)里的慣性質(zhì)量。
就像不同質(zhì)量的人在電梯里,當(dāng)電梯上升時(shí)感受到的力應(yīng)該是不同的。
?
從形態(tài)上看4和1最像,2和1的形態(tài)差異最大。因此4和1的波函數(shù)的等效交叉程度最大,所以粒子對(duì)02,03,04在01的慣性系中擁有的慣性質(zhì)量順序04>03>02.
或者至少用慣性質(zhì)量解釋參數(shù)遷移這件事是邏輯連貫的。
?
總結(jié)
以上是生活随笔為你收集整理的神经网络参数迁移与惯性质量的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 质量到底是什么?
- 下一篇: 用神经网络分类远和近