首先，我們知道，深度學習網絡中的參數是通過計算梯度，在反向傳播進行更新的，從而能得到一個優秀的參數，但是有的時候，我們想固定其中的某些層的參數不參與反向傳播。比如說，進行微調時，我們想固定已經加載預訓練模型的參數部分，指向更新最后一層的分類器，這時應該怎么做呢。

首先我們的模型定義為：

class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.conv1 = nn.Conv2d()self.conv2 = nn.Conv2d()self.fc1 = nn.Squential(nn.Linear(),nn.Linear(),ReLU(inplace=True),)self.classifier = nn.Linear()

我們通過設置參數param的requires_grad屬性為False，來凍結該層參數。我們可以定義如下函數：

def freeze(layer):for child in layer.children():for param in child.parameters():param.requires_grad = False

這里的layer，即為我們需要凍結的某層。如果我們要凍結fc1層，則：

class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.conv1 = nn.Conv2d()self.conv2 = nn.Conv2d()self.fc1 = nn.Squential(nn.Linear(),nn.Linear(),ReLU(inplace=True),)freeze(self.fc1)#########self.classifier = nn.Linear()

當然這樣還不夠，我們要在定義優化器的時候，告訴優化器，哪些需要更新，那些不需要，這一步至關重要，即：

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-5)

感興趣的同學可以查看filter函數的作用：https://www.runoob.com/python/python-func-filter.html

有的同學表示，我大部分層需要凍結，只有少部分層要訓練，那這樣一層一層的稍顯麻煩，我們應該怎么做呢，還拿上面的模型舉例，假設我的模型是按序定義的，則我只想訓練classifier層，其余的統統凍結那么：

class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.conv1 = nn.Conv2d()self.conv2 = nn.Conv2d()self.fc1 = nn.Squential(nn.Linear(),nn.Linear(),ReLU(inplace=True),)for param in self.parameters():param.requires_grad = False#這樣for循環之前的參數都被凍結，其后的正常更新。self.classifier = nn.Linear()

當然同樣不要忘了在定義優化器時過濾。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的pytorch 之 冻结某层参数，即训练时不更新的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。