在機器學習中的矩陣向量求導(三) 矩陣向量求導之微分法中，我們討論了使用微分法來求解矩陣向量求導的方法。但是很多時候，求導的自變量和因變量直接有復雜的多層鏈式求導的關系，此時微分法使用起來也有些麻煩。需要一些簡潔的方法。

　　　　本文我們討論矩陣向量求導鏈式法則，使用該法則很多時候可以幫我們快速求出導數結果。

　　　　本文的標量對向量的求導，標量對矩陣的求導使用分母布局， 向量對向量的求導使用分子布局。如果遇到其他資料求導結果不同，請先確認布局是否一樣。

1. 向量對向量求導的鏈式法則

　　　　首先我們來看看向量對向量求導的鏈式法則。假設多個向量存在依賴關系，比如三個向量x→y→zx→y→z存在依賴關系，則我們有下面的鏈式求導法則：

?z?x=?z?y?y?x?z?x=?z?y?y?x

　　　　該法則也可以推廣到更多的向量依賴關系。但是要注意的是要求所有有依賴關系的變量都是向量，如果有一個YY是矩陣，，比如是x→Y→zx→Y→z， 則上式并不成立。

　　　　從矩陣維度相容的角度也很容易理解上面的鏈式法則，假設x,y,zx,y,z分別是m,n.pm,n.p維向量，則求導結果?z?x?z?x是一個p×mp×m的雅克比矩陣，而右邊?z?y?z?y是一個p×np×n的雅克比矩陣，?y?x?y?x是一個n×mn×m的矩陣，兩個雅克比矩陣的乘積維度剛好是p×mp×m，和左邊相容。

2. 標量對多個向量的鏈式求導法則

　　　　在我們的機器學習算法中，最終要優化的一般是一個標量

總結

以上是生活随笔為你收集整理的机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。