01模型簡介

隨著海量電子病歷的挖掘，影像學、基因組學等數據進入醫學統計分析，經常會面臨對高維變量特征選擇的問題，Lasso回歸是在線性回歸模型的代價函數后面加上L1范數的約束項的模型，它通過控制參數lambda進行變量篩選和復雜度調整，被廣泛的用到醫學領域。

目前較好用的擬合廣義線性模型的R包是glmnet，由Lasso回歸的發明人，斯坦福統計學家 Trevor Hastie 領銜開發。

下面結合一個線性回歸的例子，和大家分享一下如何運用R軟件進行Lasso回歸。

02加載數據

#### 加載包和讀取數據

library(glmnet)

load(file="Lineartest")

data

###### 分別存儲 自變量和因變量

x

y

03采用glmnet() 建模

alpha1_fit

plot(alpha1_fit,xvar="lambda",label=TRUE)

alpha=1表示搭建Lasso回歸模型，若因變量為連續型因變量則使用family = "gaussian"，若為二分類變量則使用family="binomial"。通過plot()可以做圖觀察模型的系數是如何變化的：圖中的每一條曲線代表了每一個自變量系數的變化軌跡，縱坐標是系數值，上橫坐標是此時模型中非零系數的個數。藍色變量隨著參數的不斷增大，而最終系數被壓縮為0的變量，說明比較重要。

04 交叉驗證

alpha1.fit

plot(alpha1.fit)

print(alpha1.fit)

我們都會用交叉驗證(cross validation)擬合進而選取模型，同時對模型的性能有一個更準確的估計。這里的type.measure是用來指定交叉驗證選取模型時希望最小化的目標參量。當因變量是連續變量的時候，一般會采用"mse"，當因變量為二分類變量，可采用"class","deviance"等。

我們把交叉驗證的結果作圖，圖中紅點表示每個lambda對應的目標參量，兩條虛線表示特殊的lambda值。打印出來，如下：

all: cv.glmnet(x = x, y = y, type.measure = "mse", alpha = 1, family = "gaussian")

Measure: Mean-Squared Error

Lambda Measure SE Nonzero

min 359.7 62894636 14233156 4

1se 2312.4 74688861 20560265 3

min代表的是在所有的lambda值中，是mse最小的那一個值,1se是指在min一個方差范圍內得到最簡單模型的那一個lambda值，1se給出的是一個具備優良性能且自變量個數最少的模型。

05 變量篩選

獲得最優的lambda值后，就能得到該模型的變量系數和最優的變量。可以看出最終保留下來的變量是3,5,6。coef()中s是指選取的lambda值。

coef(alpha1_fit,s=alpha1.fit$lambda.1se)

(Intercept) 24980.4485

APMAM .

APSAB .

APSLAKE 777.2792

OPBPC .

OPRC 1599.4269

OPSLAKE 2199.9201

篩選出的變量，可以結合線性回歸做下一部分的疾病危險因素分析、預測分析等。

文章在公粽號：易學統計

文章里的干貨更多喲

歡迎交流，歡迎提問

總結

以上是生活随笔為你收集整理的python回归模型 变量筛选_如何进行高维变量筛选和特征选择(一)？Lasso回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。