向量化

向量化通常是消除你代碼中顯式for循環(huán)語句的藝術(shù)。那么具體什么是向量化呢？
我們以

`

z=wTx+b
為例，在這個(gè)例子中，如果有很多的數(shù)據(jù)，那么w和x以及b都是n維列向量。

如所示，左側(cè)是用非向量化的數(shù)組來實(shí)現(xiàn)的，它的計(jì)算效率很慢。而右側(cè)是用了numpy，直接是向量化的去實(shí)現(xiàn)，計(jì)算效率就快很多。實(shí)際上numpy比單純的用for快很大一部分原因就是numpy內(nèi)置了并行處理模塊，會(huì)自動(dòng)進(jìn)行并行處理運(yùn)算。

向量化的更多例子

關(guān)于編程我們的經(jīng)驗(yàn)是，當(dāng)你編寫新的網(wǎng)絡(luò)時(shí)，或者你做的只是回歸的話，那么一定要盡量避免使用for循環(huán)。能不用就不用。如果你能用一個(gè)內(nèi)置函數(shù)，或者找出其他的什么辦法來計(jì)算循環(huán)，通會(huì)比使用for更快。

我們來看看如何在梯度下降法里面去掉for循環(huán)。

如圖所示，這是一般的需要用兩個(gè)顯式的for實(shí)現(xiàn)的例子。

向量化的logistic回歸

我們之前討論過向量化如何顯著地加速代碼執(zhí)行，這里我們將會(huì)談及向量化如何實(shí)現(xiàn)logistic回歸。這樣，我們就可以加速大量的數(shù)據(jù)。

我們先來介紹正向傳播的部分：

如圖所示，對(duì)于每一個(gè)變量，我們可以寫成向量的形式，這樣，用一個(gè)語句就可以進(jìn)行計(jì)算了。

向量化logistic回歸的梯度輸出

下面我們來介紹一下反向傳播的過程：

如圖所示，是整個(gè)反向傳播過程的實(shí)現(xiàn)。左側(cè)圖片是一步步的流程，右側(cè)圖片是整個(gè)用向量化表示后的方法和代碼。

如圖所示，這是整個(gè)計(jì)算過程示意圖，左側(cè)是傳統(tǒng)的for計(jì)算方法，而右側(cè)我們使用向量化表示之后，便可以避免使用for語句。這樣就既實(shí)現(xiàn)了正向傳播也實(shí)現(xiàn)了反向傳播。

對(duì)于為什么是a-y是因?yàn)橹拔覀冊(cè)诜聪騻鞑ビ面準(zhǔn)椒▌t求導(dǎo)數(shù)的時(shí)候已經(jīng)算完化簡(jiǎn)過了，最后的結(jié)果就是a-y。

值得注意的是，對(duì)于一次的梯度向量，我們可以通過向量化處理，避免使用for語句，但是對(duì)于多次梯度下降，不可避免的會(huì)用到for進(jìn)行迭代。

總結(jié)

以上是生活随笔為你收集整理的1.2.3 使用向量化进行加速计算的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。