日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

【scipy 基础】--稀疏矩阵

發布時間:2023/11/25 windows 36 coder
生活随笔 收集整理的這篇文章主要介紹了 【scipy 基础】--稀疏矩阵 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

稀疏矩陣是一種特殊的矩陣,其非零元素數目遠遠少于零元素數目,并且非零元素分布沒有規律。
這種矩陣在實際應用中經常出現,例如在物理學、圖形學和網絡通信等領域。

稀疏矩陣其實也可以和一般的矩陣一樣處理,之所以要把它區分開來進行特殊處理,是因為:
一方面稀疏矩陣存儲空間開銷通常比稠密矩陣要小得多,可以節省存儲空間;
另一方面,在計算稀疏矩陣時,可以利用其特殊的結構,采用專門的算法,提高計算效率和準確性。
因此,稀疏矩陣Scipy庫中被單獨作為一個模塊,以便被更好地處理和應用。

1. 主要功能

稀疏矩陣子模塊(scipy.sparse)的主要功能包括:

類別 說明
稀疏數組類 支持各種格式的稀疏數組
稀疏矩陣類 支持各種格式的稀疏矩陣
稀疏矩陣工具 構建,保存,加載以及識別稀疏矩陣的各種函數
其他 包含壓縮稀疏圖例程,稀疏線性代數等子模塊,以及一些異常處理方法

這里有個需要注意的地方是稀疏數組稀疏矩陣的區別。
這兩個類別中的很多函數名稱也類似,比如:bsr_arraybsr_matrixcoo_arraycoo_matrix等等。

只要區別在于:
***_matrix類的函數是一種基于Compressed Sparse Row(CSR)和Compressed Sparse Column(CSC)格式的塊稀疏矩陣表示方法。
它使用一個字典來存儲非零元素,其中每個元素對應于一個包含三個值的元組,分別表示該元素的行索引、列索引和非零元素的值。
這種數據結構可以提供更好的計算性能和內存使用效率,特別適合于大規模的塊稀疏矩陣計算。

***_array 類的函數雖然類似于***_matrix的數據結構,但它允許更大的靈活性。
***_array 可以表示任意的稀疏數組,而不僅僅是塊稀疏矩陣。
它使用一個具有三個數組的元組來表示稀疏數組,其中第一個數組存儲行索引,第二個數組存儲列索引,第三個數組存儲非零元素的值。
這種數據結構適用于更通用的稀疏數組計算,但可能不如***_matrix高效。

總之,***_matrix***_array都是用于表示塊稀疏矩陣或稀疏數組的數據結構。
***_matrix更適合于大規模的塊稀疏矩陣計算,而***_array適用于更通用的稀疏數組計算。

2. 使用示例

稀疏矩陣之所以成為單獨的一個模塊,是因為它的稀疏的特性在很多領域多有廣泛的應用。
scipy.sparse子模塊中提供了大概7種

  1. csc_matrix: 壓縮稀疏列格式(Compressed Sparse Column)
  2. csr_matrix: 壓縮稀疏行格式(Compressed Sparse Row)
  3. bsr_matrix: 塊稀疏行格式(Block Sparse Row)
  4. lil_matrix: 列表格式的列表(List of Lists format)
  5. dok_matrix: 鍵格式字典(Dictionary of Keys)
  6. coo_matrix: 坐標格式(又名 IJV,三元組格式)
  7. dia_matrix: 對角線格式(DIAgonal format)

2.1. 使用稀疏矩陣

稀疏矩陣其實在運算上和使用普通矩陣一樣。
首先,構造一個創建矩陣的方法create_matrix,這個方法會生成一個10x10的矩陣,
方法的參數N表示隨機在矩陣的N個位置中生成值。

from scipy import sparse
import numpy as np

# 創建一個10x10矩陣,其中有值的元素不超過N個
def create_matrix(N):
    data = np.zeros((10, 10))

    for _ in range(N):
        row = np.random.randint(0, 10, 1)
        col = np.random.randint(0, 10, 1)
        data[row, col] = np.random.randint(1, 100, 1)

    return data

create_matrix創建的是普通矩陣,我們將生成的矩陣轉換為稀疏矩陣后,計算方式差不多。

# 創建兩個普通矩陣
m1 = create_matrix(8)
m2 = create_matrix(6)

# 計算點積
m1.dot(m2) # 返回m1和m2的點積結果

# 將普通矩陣變為稀疏矩陣
#(這里的演示用了7種類型中的一種bsr)
d1 = sparse.bsr_matrix(m1)
d2 = sparse.bsr_matrix(m2)

# 計算點積后,用toarray方法轉換為二維數組
d1.dot(d2).toarray()

從上面的代碼可以看出,用scipy.sparse中的稀疏矩陣和使用一般矩陣差不多。

2.2. 稀疏矩陣的性能

我們使用稀疏矩陣,就是因為其運算性能比使用一般矩陣強,否則還不如直接用一般矩陣。
下面,簡單測試下scipy.sparse模塊下稀疏矩陣的性能。

先看其內存占用是否有減少,為了讓性能差別能顯著看出,
先擴大測試矩陣為 1000x1000

import sys

def create_matrix(N):
    data = np.zeros((1000, 1000))

    for _ in range(N):
        row = np.random.randint(0, 1000, 1)
        col = np.random.randint(0, 1000, 1)
        data[row, col] = np.random.randint(1, 100, 1)

    return data

m1 = create_matrix(8)
m2 = create_matrix(6)

d1 = sparse.csr_matrix(m1)
d2 = sparse.csr_matrix(m2)

print("一般矩陣 m1 占用的空間:{}".format(sys.getsizeof(m1)))
print("一般矩陣 m2 占用的空間:{}".format(sys.getsizeof(m2)))
print("一般矩陣 d1 占用的空間:{}".format(sys.getsizeof(d1)))
print("一般矩陣 d2 占用的空間:{}".format(sys.getsizeof(d2)))
# 運行結果:
一般矩陣 m1 占用的空間:8000128
一般矩陣 m2 占用的空間:8000128
一般矩陣 d1 占用的空間:56
一般矩陣 d2 占用的空間:56

可以看出占用的空間明顯縮小了。

再看點積的運算性能:(運行10輪,每輪100次)

%%timeit -r 10 -n 100
m1.dot(m2)
# 運行結果:
10.6 ms ± 136 μs per loop (mean ± std. dev. of 10 runs, 100 loops each)

稀疏矩陣的點積運算:

%%timeit -r 10 -n 100
d1.dot(d2)
# 運行結果:
137 μs ± 14.3 μs per loop (mean ± std. dev. of 10 runs, 100 loops each)

可以看出,運算性能差別非常大,一個是毫秒級別10.6ms)的,一個是微秒級別137 μs)的。

3. 總結

稀疏矩陣在矩陣中只是一種特殊的矩陣,然而在實際應用領域中,卻應用極廣,比如:
數值計算中,可以用于解決大規模線性代數方程組、大規模非線性方程組和非線性優化問題,以及求解大規模約束規劃問題。

模式識別中,如人臉識別、手寫數字識別、文本分類等任務,可用于表示高維數據,提取特征并進行降維,提高識別準確率和計算效率。

推薦系統中,處理大量用戶和物品的數據時,稀疏矩陣可以有效地表示這些數據。

社交網絡中,因為一般社交關系都是稀疏的,所以可用于分析社交網絡的結構和行為,例如社區檢測、影響力傳播。

此外,還可以用在計算機視覺自然語言處理生物信息學等等領域。
所以,研究稀疏矩陣有其重要的實際意義。

總結

以上是生活随笔為你收集整理的【scipy 基础】--稀疏矩阵的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。