在刷官方Tutorial的時候發現了一個用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解釋也是云里霧里，于是在棧溢網看到了一篇解釋，并做了幾個實驗才算完全理解了這個函數。首先可以把這個函數理解為類型轉換函數，將一個不可訓練的類型Tensor轉換成可以訓練的類型parameter并將這個parameter綁定到這個module里面(net.parameter()中就有這個綁定的parameter，所以在參數優化的時候可以進行優化的)，所以經過類型轉換這個self.v變成了模型的一部分，成為了模型中根據訓練可以改動的參數了。使用這個函數的目的也是想讓某些變量在學習的過程中不斷的修改其值以達到最優化。

出現這個函數的地方
在concat注意力機制中，權值V是不斷學習的所以要是parameter類型，不直接使用一個torch.nn.Linear()可能是因為學習的效果不好。
通過做下面的實驗發現，linear里面的weight和bias就是parameter類型，且不能夠使用tensor類型替換，還有linear里面的weight甚至可能通過指定一個不同于初始化時候的形狀進行模型的更改。 做的實驗 ? self.v被綁定到模型中了，所以可以在訓練的時候優化

作者：VanJordan
鏈接：https://www.jianshu.com/p/d8b77cc02410
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權并注明出處。

總結

以上是生活随笔為你收集整理的PyTorch里面的torch.nn.Parameter()的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。