1、正則化與偏差-方差分解

1.1 Regularization

Regularization：減小方差的策略；

誤差可分解為偏差，方差與噪聲之和，即誤差=偏差+方差+噪聲之和；

偏差度量了學(xué)習(xí)算法的期望預(yù)測與真實(shí)結(jié)果的偏離程度，即刻畫了學(xué)習(xí)算法本身的擬合能力；

方差度量了同樣大小的訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化，即刻畫了數(shù)據(jù)擾動(dòng)所造成的影響；

噪聲則表達(dá)了在當(dāng)前任務(wù)上任何學(xué)習(xí)算法所能達(dá)到的期望泛化誤差的下界；

下面通過一個(gè)線性回歸的例子理解方差和偏差的概念：

假如現(xiàn)在有一個(gè)一元線性回歸，如圖，訓(xùn)練集是藍(lán)色的點(diǎn)，測試集是紅色的點(diǎn)，假如有一個(gè)模型能夠很好地?cái)M合訓(xùn)練集，如下如所示：

但是該模型在測試集的效果比較差，這就是一個(gè)典型的高方差，也就是過擬合現(xiàn)象。正則化策略的目的就是降低方差，減小過擬合的發(fā)生。

下面了解一下降低過擬合的正則化策略，這里主要學(xué)習(xí)L1和L2正則化策略。

1.2 損失函數(shù)

損失函數(shù)：衡量模型輸出與真實(shí)標(biāo)簽的差異

損失函數(shù)：$$Loss=f(\hat{y},y)$$代價(jià)函數(shù)：$$Cost=\frac{1}{N}\sum _i^{N}f({\hat{y}}_i,y_i)$$目標(biāo)函數(shù)：$$Obj=Cost+RegularizationTerm$$

L1 Regularization Term:$$\sum _i^N|w_i|$$L2 Regularization Term:$$\sum _i^N|w_i^2|$$

在分析L!和L2正則化的時(shí)候，經(jīng)常看到下面這個(gè)圖：

左圖為L1正則化，右圖為L2正則化，圖中的彩色圓圈是損失函數(shù)的等高線，也就是公式中的cost，這里假設(shè)模型是一個(gè)二元模型，有兩個(gè)參數(shù)$w_1$和$w_2$。左圖中的黑色矩陣表示正則化的等高線，右圖和左圖的圖形意義一樣。

1.3 L2 Regularization

L2 Regularization = weight decay(權(quán)重衰減)

目標(biāo)函數(shù)(Objective Function)：$$Obj=Cost+RegularizationTerm$$假設(shè)目標(biāo)函數(shù)為$$Obj=Loss+\frac{\lambda }{2}?\sum _i^N{w}_i^2$$權(quán)重更新公式為$$w_{i+1}=w_i?\frac{?Obj}{?w_i}=w_i?\frac{?Loss}{?w_i}$$可以得到L2正則化的權(quán)重更新為$$w_{i+1}=w_i?\frac{?Obj}{?w_i}=w_i?(\frac{?Loss}{?w_i}+\lambda ?w_i)$$公式化簡為$$w_{i+1}=w_i?(1?\lambda )?\frac{?Loss}{?w_i}$$因?yàn)楣街写嬖?span id="ozvdkddzhkzd" class="katex--inline">$w_i?(1?\lambda )$，因此L2正則化也稱為權(quán)重衰減。

現(xiàn)在通過代碼看一下在一元線性模型上weight decay(L2正則化)的具體作用：

import torch import torch.nn as nn import matplotlib.pyplot as plt from common_tools import set_seed from torch.utils.tensorboard import SummaryWriterset_seed(1) # 設(shè)置隨機(jī)種子 n_hidden = 200 max_iter = 2000 disp_interval = 200 lr_init = 0.01# ============================ step 1/5 數(shù)據(jù) ============================ def gen_data(num_data=10, x_range=(-1, 1)):w = 1.5train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)train_y = w*train_x + torch.normal(0, 0.5, size=train_x.size())test_x = torch.linspace(*x_range, num_data).unsqueeze_(1)test_y = w*test_x + torch.normal(0, 0.3, size=test_x.size())return train_x, train_y, test_x, test_ytrain_x, train_y, test_x, test_y = gen_data(x_range=(-1, 1))# ============================ step 2/5 模型 ============================ class MLP(nn.Module):def __init__(self, neural_num):super(MLP, self).__init__()self.linears = nn.Sequential(nn.Linear(1, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, 1),)def forward(self, x):return self.linears(x)net_normal = MLP(neural_num=n_hidden) net_weight_decay = MLP(neural_num=n_hidden)# ============================ step 3/5 優(yōu)化器 ============================ optim_normal = torch.optim.SGD(net_normal.parameters(), lr=lr_init, momentum=0.9) optim_wdecay = torch.optim.SGD(net_weight_decay.parameters(), lr=lr_init, momentum=0.9, weight_decay=1e-2)# ============================ step 4/5 損失函數(shù) ============================ loss_func = torch.nn.MSELoss()# ============================ step 5/5 迭代訓(xùn)練 ============================writer = SummaryWriter(comment='_test_tensorboard', filename_suffix="12345678") for epoch in range(max_iter):# forwardpred_normal, pred_wdecay = net_normal(train_x), net_weight_decay(train_x)loss_normal, loss_wdecay = loss_func(pred_normal, train_y), loss_func(pred_wdecay, train_y)optim_normal.zero_grad()optim_wdecay.zero_grad()loss_normal.backward()loss_wdecay.backward()optim_normal.step()optim_wdecay.step()if (epoch+1) % disp_interval == 0:# 可視化for name, layer in net_normal.named_parameters():writer.add_histogram(name + '_grad_normal', layer.grad, epoch)writer.add_histogram(name + '_data_normal', layer, epoch)for name, layer in net_weight_decay.named_parameters():writer.add_histogram(name + '_grad_weight_decay', layer.grad, epoch)writer.add_histogram(name + '_data_weight_decay', layer, epoch)test_pred_normal, test_pred_wdecay = net_normal(test_x), net_weight_decay(test_x)# 繪圖plt.scatter(train_x.data.numpy(), train_y.data.numpy(), c='blue', s=50, alpha=0.3, label='train')plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='red', s=50, alpha=0.3, label='test')plt.plot(test_x.data.numpy(), test_pred_normal.data.numpy(), 'r-', lw=3, label='no weight decay')plt.plot(test_x.data.numpy(), test_pred_wdecay.data.numpy(), 'b--', lw=3, label='weight decay')plt.text(-0.25, -1.5, 'no weight decay loss={:.6f}'.format(loss_normal.item()), fontdict={'size': 15, 'color': 'red'})plt.text(-0.25, -2, 'weight decay loss={:.6f}'.format(loss_wdecay.item()), fontdict={'size': 15, 'color': 'red'})plt.ylim((-2.5, 2.5))plt.legend(loc='upper left')plt.title("Epoch: {}".format(epoch+1))plt.show()plt.close()

在Pytorch中，weight_decay是在優(yōu)化器中實(shí)現(xiàn)的，在代碼中構(gòu)建了兩個(gè)優(yōu)化器，一個(gè)優(yōu)化器不帶有正則化，一個(gè)優(yōu)化器帶有正則化。

代碼輸出的結(jié)果如下所示：

總結(jié)

以上是生活随笔為你收集整理的pytorch —— 正则化之weight_decay的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。