文章目錄

• • 1.摘要和介紹
  • • 1.1摘要部分
  • 2.背景和方法
  • • 2.1 背景
    • 2.2 貢獻(xiàn)
    • 2.3 方法
  • 3.實驗和結(jié)果
  • • 3.1 實驗
    • 3.2 結(jié)果
  • 4.總結(jié)和展望
  • • 4.1 總結(jié)
    • 4.2 展望

本系列是在閱讀深度神經(jīng)網(wǎng)絡(luò)模型小型化方面論文時的筆記！內(nèi)容大部分從論文中摘取，也會有部分自己理解，有錯誤的地方還望大家批評指出！

論文鏈接：Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks

1.摘要和介紹

1.1摘要部分

原文摘要：
Existing methods usually utilize pre-defined criterions, such as ‘ p-norm, to prune unimportant filters. There are
two major limitations in these methods. First, the relations of the filters are largely ignored. The filters usually work
jointly to make an accurate prediction in a collaborative way. Similar filters will have equivalent effects on the network prediction, and the redundant filters can be further pruned. Second, the pruning criterion remains unchanged during training. As the network updated at each iteration, the filter distribution also changes continuously. The pruning criterions should also be adaptively switched.
傳統(tǒng)的通道裁剪方法都是需要預(yù)先定義通道的裁剪準(zhǔn)則，然后使用該一成不變的準(zhǔn)則對網(wǎng)絡(luò)進(jìn)行裁剪，而其中使用的是裁剪準(zhǔn)則是不考慮通道之間的相關(guān)性，如：lp_norm。該方法存在下面兩個問題：1）沒有考慮網(wǎng)絡(luò)中不同通道之間的相關(guān)性。一般而言，相關(guān)性大的兩個通道就可以裁剪掉其中的一個。2）沒有考慮網(wǎng)絡(luò)更新過程中狀態(tài)的改變。應(yīng)該使用自適應(yīng)的通道裁剪準(zhǔn)則。
In this paper, we propose Meta Filter Pruning (MFP) to solve the above problems. First, as a complement to the existing ‘p-norm criterion, we introduce a new pruning criterion considering the filter relation via filter distance.
Additionally, we build a meta pruning framework for filter pruning, so that our method could adaptively select the most appropriate pruning criterion as the filter distribution changes. Experiments validate our approach on two image classification benchmarks. Notably, on ILSVRC-2012, our MFP reduces more than 50% FLOPs on ResNet-50 withonly 0.44% top-5 accuracy loss.
文章提出了一種基于元學(xué)習(xí)的通道刪除方法。主要是改進(jìn)了上面提出的另個問題。其中為了解決第一個問題，提出了兩種用于度量兩個不同通道之間的相關(guān)性的方法，并將其作為新的通道裁剪準(zhǔn)則，與常用lp_norm準(zhǔn)則一起構(gòu)成裁剪準(zhǔn)則候選集合；為了解決第二個問題，提出了一種基于元學(xué)習(xí)的自動選擇合適的通道裁剪準(zhǔn)則框架，其在每一個epoch中會根據(jù)當(dāng)前網(wǎng)絡(luò)的狀態(tài)，自動從通道裁剪集合中選擇合適的裁剪準(zhǔn)則。最終，本文實現(xiàn)了在ILSVRC-2012數(shù)據(jù)集上，對模型resnet50裁剪50%的flops，得到0.44%的top_5的精度。

2.背景和方法

2.1 背景

• 為了在計算資源有限的平臺上（手機(jī)等終端設(shè)備）上使用深度神經(jīng)網(wǎng)絡(luò)模型，對模型的裁剪是必須的。其中對模型的裁剪分為：權(quán)重的裁剪（weight pruning）和卷積通道（ filter pruning）的裁剪。其中前者是對神經(jīng)元進(jìn)行裁剪，而后者是將整個通道都刪除了。前者因為得到的是非結(jié)構(gòu)化稀疏（unstructured sparsity）無發(fā)很好的利用基本線性代數(shù)子程序庫（BLAS）進(jìn)行加速，所以意義不是很大，所以大家基本上都是研究通道級別的裁剪，因為其得到的是結(jié)構(gòu)化的稀疏（ structured sparsity）。
  
• 在過去的工作中，裁剪的準(zhǔn)則主要分為兩種：1）系數(shù)值越小則越不重要（smaller-norm-less-important），即：如果某個通道的卷積系數(shù)或者BN層的稀疏比較小，那么該通道對于結(jié)果貢獻(xiàn)就不大，可以刪除。所以，該類方法大多采用正則化的方法使得模型的系數(shù)稀疏化，從而達(dá)到裁剪通道的目的。但是該方法沒有考慮到通道之間的相關(guān)性。2）基于通道之間的相關(guān)性（Relational Criterion），相關(guān)性越大的兩個通道，則必定有一個是冗余的。采用的方法是使用幾何均值篩選中模型中最不重要的通道，因為越是接近集合均值的通道這說明和剩下的通道相關(guān)性越大，則可以被刪除。
• 傳統(tǒng)的通道裁剪存在以下兩個問題：1）通道之間的相關(guān)性度量方法嘗試太少；2）由于通道的裁剪，模型中卷積核的參數(shù)分布是動態(tài)變換的，所以固定不變的通道裁剪準(zhǔn)則是不是不太合適。

2.2 貢獻(xiàn)

• 提出了兩種新的通道相關(guān)性度量的方法
• 提出了基于元學(xué)習(xí)的通道裁剪準(zhǔn)則自適應(yīng)變換框架，從而盡可能的降低裁剪前后模型之前的loss差異
• 在常用的數(shù)據(jù)集：cifar10和ImageNet上對常用的模型（resnet , vggnet等）進(jìn)行試驗，得到的實驗記過非常好。

2.3 方法

• 在每一個epoch過程中，分別會根據(jù)lp_norm準(zhǔn)則和distace_norm準(zhǔn)則，對網(wǎng)絡(luò)中所有的通道進(jìn)行排序，然后通過元學(xué)習(xí)的方法篩選出適合當(dāng)前狀態(tài)的通道裁剪準(zhǔn)則，并按照該準(zhǔn)則的分?jǐn)?shù)對模型進(jìn)行裁剪。
• 其中距離準(zhǔn)則下使用了Minkowski Distance和Cosine Distance，并通過計算當(dāng)前通道與剩下所有通道之間距離之和然后再求平均得到的值表示該通道的相關(guān)性分?jǐn)?shù)，分?jǐn)?shù)越大則表示通道越重要。
• lp_norm準(zhǔn)則下，使用的是l1和l2正則化來產(chǎn)生稀疏性，然后計算當(dāng)前通道參數(shù)的1范數(shù)或者2范數(shù)作為通道重要性的分?jǐn)?shù)，分?jǐn)?shù)越大，則通道越重要。
• 文章的優(yōu)化目標(biāo)是降低模型裁剪前后元屬性，其中元屬性可以為：sparsity level κ, the mean value of weights,
  top-5 loss, top-1 loss等。

3.實驗和結(jié)果

3.1 實驗

• 數(shù)據(jù)集：CIFAR-10 ， ILSVRC-2012
• 模型： ResNet , VGGNet
• 每個實驗重復(fù)三次，并對結(jié)果取均值和方差
• Minkowski distance with p = 1; 2 cosine distance

3.2 結(jié)果

• 通過上面的實驗結(jié)果可以看出，無論是在resnet模型還是vggnet模型，在數(shù)據(jù)集cifar10和imgnet上的結(jié)果都比其他方法要好，即：更大的裁剪量可以得到更好的模型
• 在裁剪量小于40%的時候，在resnet-100，數(shù)據(jù)集cifar10上，得到的裁剪后的模型精度比未裁剪的要好。
• This means the performance of our framework is not sensitive to the pruning interval
• we find that during the early training process, the distance-based criteria are adopted less than norm-based criteria

4.總結(jié)和展望

4.1 總結(jié)

• 本文的方法不僅使用基于系數(shù)大小的裁剪準(zhǔn)則，還使用了基于相關(guān)性的裁剪準(zhǔn)則，使得結(jié)果更好
• 本文提出了一種基于元學(xué)習(xí)的自適應(yīng)選取裁剪準(zhǔn)則的框架，可以在每個epoch下，更根據(jù)模型的狀態(tài)選擇合適的裁剪專責(zé)。
• MFP achieves comparable performance with state-of-theart methods in several benchmarks.

4.2 展望

• 目前裁剪準(zhǔn)則的查找是在epoch級別上，未來可以考慮將其做在層上。
• 可以嘗試更多的元屬性。

總結(jié)

以上是生活随笔為你收集整理的深度模型压缩论文（01）- Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。