一個很大的矩陣， 320127 行, 8189列，假如用一個全為0的普通矩陣來存儲，需要用到9.8Gb

cols

rows

mat

print(object.size(mat), unit="GB")

# 19.5 Gb

mat

print(object.size(mat), unit="GB")

# 9.8 Gb這里的0其實(shí)也要區(qū)分

這里的0L表示數(shù)據(jù)類型是integer，默認(rèn)是numeric. 這兩者最大的區(qū)別在于，當(dāng)你用320127L * 8189L，你會得到一個NA，而320127 * 8189不會

如果用稀疏矩陣保存的話

mat

print(object.size(mat), unit="GB")

#0 Gb

dim(mat)

#[1] 320127 8189

雖然行列數(shù)一樣，但是稀疏矩陣幾乎不占用任何內(nèi)存。而且普通矩陣支持的運(yùn)算，比如說求行和，求列和，提取元素的操作，在稀疏矩陣矩陣也是可以的，只不過會多花一點(diǎn)點(diǎn)時間而已。同時還有很多R包支持稀疏矩陣，比如說glmnet，一個做lasso回歸的R包。

雖然看起來稀疏矩陣很美好，但是在R語言中那么大的稀疏矩陣的部分操作會出錯

> mat2

Error in asMethod(object) :

Cholmod error 'problem too large' at file ../Core/cholmod_dense.c, line 105

即便是我想把它用as.matrix轉(zhuǎn)回普通矩陣，它也報錯了

> mat3

Error in asMethod(object) :

Cholmod error 'problem too large' at file ../Core/cholmod_dense.c, line 105

既然現(xiàn)成的as.matrix無法處理，那怎么辦呢？最簡單粗暴的方法就是新建一個普通矩陣，然后對稀疏矩陣進(jìn)行遍歷，將稀疏矩陣的值挨個放回到的普通矩陣上。

mat2

for (i in seq_len(nrow(mat))){

for (j in seq_len(ncol(mat))){

mat2[i][j]

}

}

那么這大概要多少時間呢？反正我的電腦跑了2個小時也沒有跑完，所以你也別測試了。

那有沒有辦法可以加速呢？加速的方法就是減少for循環(huán)的次數(shù)，因?yàn)槲覀兪且粋€稀疏矩陣，大部分的空間都是0，我們只需要將不為0的部分賦值給新矩陣即可。

這需要我們?nèi)チ私庀孪∈杈仃嚨臄?shù)據(jù)結(jié)構(gòu)

> str(mat)

Formal class 'dgCMatrix' [package "Matrix"] with 6 slots

..@ i : int(0)

..@ p : int [1:8190] 0 0 0 0 0 0 0 0 0 0 ...

..@ Dim : int [1:2] 320127 8189

..@ Dimnames:List of 2

.. ..$ : NULL

.. ..$ : NULL

..@ x : num(0)

..@ factors : list()

@Dim記錄矩陣的維度信息, @Dimnames記錄行名和列名, @x記錄不為0的數(shù)值。@i記錄不為0的行索引，和@x對應(yīng)，這里全為0，所以不記錄。@p比較復(fù)雜，并不是簡單的記錄不為0值的列索引，看文檔也不知道是啥，不過通過檢索可以找到它和不為0值的列索引的換算關(guān)系。

因此代碼優(yōu)化為

row_pos

col_pos

val

for (i in seq_along(val)){

tmp[row_pos[i],col_pos[i]]

}

可以將其封裝為一個函數(shù)

as_matrix

tmp

row_pos

col_pos

val

for (i in seq_along(val)){

tmp[row_pos[i],col_pos[i]]

}

row.names(tmp)

colnames(tmp)

return(tmp)

}

總結(jié)

以上是生活随笔為你收集整理的mat 和asmatrix的区别_R语言的稀疏矩阵太大可能就不能用as.matrix了的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。