SOTA级发丝抠图模型PP-Matting开源,支持多场景精细化分割
你還在用P.S.等商業軟件,滑著鼠標,一點點勾勒圖像邊緣完成摳圖嘛?有些大神可能會說:我可以用蒙板、通道等等高端操作實現超快摳圖!但如果能有一個軟件可以實現智能全自動摳圖,完美保留發絲、樹葉等精細邊緣,還完全免費,甚至代碼全部開源——它不香嘛?
圖1 Matting效果展示
這絕對不是畫餅,近期一項被稱為Matting的算法可算是火爆了AI界,相比于單純的圖像分割技術,它可以根據透明度更進一步的對圖像的像素進行分類(如下圖),不僅圖像中的主體目標被精準摳出,連超精細的毛絨邊緣和透明玻璃杯都可以完美摳出!傳統的圖像分割摳圖策略是完全不可達到的,懂行的人看到這里是不是已經激動地汗毛直立了?
圖2 Matting原理說明
小編趕緊給大家貼上項目鏈接地址
墻裂推薦小伙伴們star收藏!
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting
本項目是PaddleSeg團隊推出的高性能PP-Matting系列模型,它根據用戶對圖像分辨率的需求,提供最相匹配的模型,精度上能夠在Trimap Free方向達到SOTA級別。此外,本項目還充分考慮了實際部署環境,針對邊緣端、服務端等對模型體積等指標進行相應優化。
不僅如此,PaddleSeg團隊還特別針對人像進行特殊優化處理,提供了不同場景下的預訓練模型及部署模型,既可直接部署使用,也可根據具體任務進行微調,簡直貼心到家!
圖3 PP-Matting 算法精度說明
PP-Matting已經被開發者們廣泛應用在各種場景中,如有愛的萌寵開發者小伙伴們已經實現了”貓像摳圖”,給自己可愛的小貓咪DIY了各種酷炫寫真。
圖4 “貓像摳圖”示例
此外,有開發者基于Matting模型,開發了一鍵上傳圖片進行摳圖的Web Demo,同樣歡迎大家在PaddleSeg的github頁面訪問使用。鏈接如下:
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting
圖5 Web端Matting示例
當然,看到這么好的技術,硬核的小伙伴會關注技術上的實現。一般來說,基于深度學習的Matting分為兩大類:
-
一種是基于輔助信息輸入。即除了原圖和標注圖像外,還需要輸入其他的信息輔助預測,如Trimap、背景、交互點等作為輔助信息。
-
一種是不依賴任何輔助信息,直接實現Alpha預測。
圖6 Matting原理說明
而PP-Matting設計的初衷,就是為了能夠方便用戶快速實現摳圖,因此用戶在使用時不依賴輔助信息的輸入,便可直接獲得預測的結果。為了實現更高的效果,PP-Matting設計了Semantic context branch (SCB)、high-resolution detail branch (HRDB)兩個分支,分別進行語義和細節預測,通過引導流機制,進行語義引導下的高分辨率細節預測,進而實現Trimap-free高精度圖像摳圖。
圖7 PP-Matting原理示意圖
正是由于這一系列的設計,最終讓PP-Mattig在不依靠其他輸入的情況下,依舊獲得了更高精度的預測結果。
歡迎感興趣的小伙伴們
一起體驗Matting的技術魅力
圖像集引用說明:
圖1、圖2源于公開數據集:Distinctions-646
圖4源于免費版權圖片庫https://www.pexels.com/zh-cn/
關注【】公眾號
獲取更多技術內容~
總結
以上是生活随笔為你收集整理的SOTA级发丝抠图模型PP-Matting开源,支持多场景精细化分割的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 怎样办理微信公众平台迁移公证?
- 下一篇: gtsam 学习十(ISAM2 理论)