文章目錄

• 前言
• 一、Video、Picture處理效果
• • 1.圖片摳圖效果
  • 2.視頻摳圖效果
• 二、采用的方法
• 三、使用步驟
• • 1.Data選擇
  • 2.Advance設置
  • 3.Start Run
• 總結
• • 訓練效果有限，處理速度受限于設備配置情況，后續考慮做個剪枝量化處理。

---

前言

本人之前相對視頻做一個摳圖處理，奈何手工逐幀摳肯定不行，本來想在網上找找有沒有好用且免費的摳圖工具，看到有非常多人推薦一款在線摳圖的網站，叫什么無綠幕摳圖。我就抱著好奇點開試了一試，結果效果還是很差，而且只是生成了gif動圖。綜合觀察，奈何要么收費，要么就是效果很差。

所以，本人也就搜集了一下目前比較好的摳圖算法，看到一篇《Robust High-Resolution Video Matting with Temporal Guidance》論文。于是想著借鑒一下制作一個可以直接供人拿來用的摳圖工具。但是效果還不是很好，而且工具還有一些bug，不過現在先湊合用吧，有需要的人可以試一試。

---

提示：工具只是個半成品，打開、關閉還有處理過程中還沒完善。

一、Video、Picture處理效果

示例：在人像背景較為單調的場景，效果還是不錯。但是背景與人像顏色相近的地方效果較差，這也是目前大多數算法主要解決的問題。

1.圖片摳圖效果

1.1原圖

1.2 其他方法效果

1.3 本工具效果

2.1 原圖

2.2 其他方法效果

2.3 本工具效果

3.1 原圖

3.2 其他方法效果

3.3 本工具效果

4.1 原圖

4.2 其他方法效果

4.3 本工具效果

2.視頻摳圖效果

2.1 原視頻

2.2 這是無綠幕免費在線處理效果

2.3 本工具處理效果

總結：
相較于免費的摳圖工具，視頻摳圖效果還好，但是還有一些較為模糊的畫面處理的不是很好。在圖片摳圖效果上，某些場景可能效果較差。

二、采用的方法

作者原代碼為pytorch環境上訓練的類Unet結構模型。主要分類編碼、解碼與上采樣輸出幾個部分，具體不再贅述，可參考一下別人的分析博客。
訓練所使用的數據集包括：人像語義分割數據集、matting摳圖數據集。采用的損失包括了：alpha通道L1損失與拉普拉斯金字塔損失、時序相關性損失、fg部分的L1損失和時序相關損失。將模型權重文件轉換為onnx模型，本來想做個量化，所以現在處理時間可能稍久···，所以可以考慮后續加快預測處理速度，增加半精度選擇、模型剪枝量化處理吧。

三、使用步驟

直接打開根目錄下的Matting tool by CS.exe。

1.Data選擇

Input Dir：選擇所需處理的視頻、圖片；
Output Dir：選擇保存位置文件夾；
Model weight：模型權重，選擇weights文件夾下的model.onnx；

2.Advance設置

Show Result：可以實時顯示處理過程（但由于顯示控件問題，彈出顯示了），但是由于cv2顯示會影響處理速度，可以考慮去掉勾勾；
mode：選擇處理的是視頻還是圖片；
background color：選擇摳圖背景顏色，默認綠幕；

3.Start Run

點擊Start Run按鈕開始處理，可通過命令行窗口查看當前處理進度（注意處理時不要關閉這個窗口）。如果不想處理了，可以點擊Close Run按鈕結束處理進程。
最終輸出為output(+audio).mp4視頻或者out.jpg圖片。
工具可從網盤獲取，目前bug較多，效果有限，僅供娛樂。
···百度云盤··· 提取碼：1122

總結

訓練效果有限，處理速度受限于設備配置情況，后續考慮做個剪枝量化處理。

更新：V1.3
又更新啦，有小伙伴反饋需要批量處理圖片，我將原始功能按鍵做了修改，將輸入改為了Input Images(選擇多張圖片的文件夾)和Input Video(選擇單個視頻文件)。從而可以批量處理圖片了。
更新[b]下載地址在這里：
···百度云盤···
提取碼：1210。
下載安裝軟件，里面有個小彩蛋，喜歡的可以打賞哦，感謝！
視頻插幀軟件還在加急制作中，五一勞動節快樂！

總結

以上是生活随笔為你收集整理的【抠图工具】图片、视频自动抠图（VideoMatting）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。