nn.LayerNorm的參數：

參考：
1、pytorch LayerNorm參數詳解，計算過程
2、nn.LayerNorm的具體實現方法（通過公式復現）

normalized_shape

如果傳入整數，比如4，則被看做只有一個整數的list，此時LayerNorm會對輸入的最后一維進行歸一化，這個int值需要和輸入的最后一維一樣大。

假設此時輸入的數據維度是[3, 4]，則對3個長度為4的向量求均值方差，得到3個均值和3個方差，分別對這3行進行歸一化（每一行的4個數字都是均值為0，方差為1）；LayerNorm中的weight和bias也分別包含4個數字，重復使用3次，對每一行進行仿射變換（仿射變換即乘以weight中對應的數字后，然后加bias中對應的數字），并會在反向傳播時得到學習。
如果輸入的是個list或者torch.Size，比如[3, 4]或torch.Size([3, 4])，則會對網絡最后的兩維進行歸一化，且要求輸入數據的最后兩維尺寸也是[3, 4]。

假設此時輸入的數據維度也是[3, 4]，首先對這12個數字求均值和方差，然后歸一化這個12個數字；weight和bias也分別包含12個數字，分別對12個歸一化后的數字進行仿射變換（仿射變換即乘以weight中對應的數字后，然后加bias中對應的數字），并會在反向傳播時得到學習。
假設此時輸入的數據維度是[N, 3, 4]，則對著N個[3,4]做和上述一樣的操作，只是此時做仿射變換時，weight和bias被重復用了N次。
假設此時輸入的數據維度是[N, T, 3, 4]，也是一樣的，維度可以更多。
注意：顯然LayerNorm中weight和bias的shape就是傳入的normalized_shape。

eps

歸一化時加在分母上防止除零。

elementwise_affine

如果設為False，則LayerNorm層不含有任何可學習參數。

如果設為True（默認是True）則會包含可學習參數weight和bias，用于仿射變換，即對輸入數據歸一化到均值0方差1后，乘以weight，即bias。

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size],eps: float = 1e-05,elementwise_affine: bool = True) import torch a = torch.tensor([[1,2,4,1],[6,3,2,4],[2,4,6,1]]).float() print(a)

輸出

tensor([[1., 2., 4., 1.],[6., 3., 2., 4.],[2., 4., 6., 1.]])

1.只考慮最低維：每個維各自按公式計算即可，不和其他維度摻和

print(nn.LayerNorm([4])(a)) tensor([[-0.8165, 0.0000, 1.6330, -0.8165],[ 1.5213, -0.5071, -1.1832, 0.1690],[-0.6509, 0.3906, 1.4321, -1.1717]],grad_fn=<NativeLayerNormBackward>)

2.考慮最低的2個維度：計算最低兩維的12個元素的方差均值

a = torch.tensor([[1,2,4,1],[6,3,2,4],[2,4,6,1]]).float() print(a) print(nn.LayerNorm([3,4])(a)) tensor([[1., 2., 4., 1.],[6., 3., 2., 4.],[2., 4., 6., 1.]]) tensor([[-1.1547, -0.5773, 0.5773, -1.1547],[ 1.7320, 0.0000, -0.5773, 0.5773],[-0.5773, 0.5773, 1.7320, -1.1547]],grad_fn=<NativeLayerNormBackward>)

總結

以上是生活随笔為你收集整理的nn.LayerNorm的参数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。