? ? ? torch.nn.Parameter是繼承自torch.Tensor的子類，其主要作用是作為nn.Module中的可訓練參數使用。它與torch.Tensor的區別就是nn.Parameter會自動被認為是module的可訓練參數，即加入到parameter()這個迭代器中去；而module中非nn.Parameter()的普通tensor是不在parameter中的。

torch.nn.parameter.Parameter(data=None, requires_grad=True)

? ? ? nn.Parameter可以看作是一個類型轉換函數，將一個不可訓練的類型 Tensor 轉換成可以訓練的類型 parameter ，并將這個 parameter 綁定到這個module 里面(net.parameter() 中就有這個綁定的 parameter，所以在參數優化的時候可以進行優化)，所以經過類型轉換這個變量就變成了模型的一部分，成為了模型中根據訓練可以改動的參數。使用這個函數的目的也是想讓某些變量在學習的過程中不斷的修改其值以達到最優化。

? ? ?nn.Parameter()添加的參數會被添加到Parameters列表中，會被送入優化器中隨訓練一起學習更新 ??

? ? ? 在nn.Module類中，pytorch也是使用nn.Parameter來對每一個module的參數進行初始化的

?

但是如果 nn.Parameter(requires_grad=False) 那么這個參數雖然綁定到模型里了，但是還是不可訓練的，只是為了模型完整性這樣寫(例如magiclayout CVPR2021)

requires_grad默認值為True，表示可訓練，False表示不可訓練。

這樣寫還有一個好處就是，這個參數會隨著模型的被移到cuda上，即如果執行過model.cuda(), 那么這個參數也就被移到了cuda上了

舉例

import torch from torch import nnclass MyModule(nn.Module):def __init__(self, input_size, output_size):super(MyModule, self).__init__()self.test = torch.rand(input_size, output_size)self.linear = nn.Linear(input_size, output_size)def forward(self, x):return self.linear(x)model = MyModule(4, 2) print(list(model.named_parameters()))

import torch from torch import nnclass MyModule(nn.Module):def __init__(self, input_size, output_size):super(MyModule, self).__init__()self.test = nn.Parameter(torch.rand(input_size, output_size))self.linear = nn.Linear(input_size, output_size)def forward(self, x):return self.linear(x)model = MyModule(4, 2) print(list(model.named_parameters()))

也可以在外面，通過register_parameter()注冊

import torch from torch import nnclass MyModule(nn.Module):def __init__(self, input_size, output_size):super(MyModule, self).__init__()self.linear = nn.Linear(input_size, output_size)def forward(self, x):return self.linear(x)model = MyModule(4, 2) my_test = nn.Parameter(torch.rand(4, 2)) model.register_parameter('test',my_test) print(list(model.named_parameters()))

總結

以上是生活随笔為你收集整理的Pytorch nn.Parameter()的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。