梅寧航發自凹非寺

　　量子位報道公眾號 QbitAI

　　有沒有想過讓蒙娜麗莎跟著你的表情動，來一番親切的交流？

　　Aliaksandr 的一階運動模型（First Order Motion Model）可以實現，但是實現過程非常復雜且繁瑣。

　　一階運動模型功能強大，可以在未經預訓練的數據集上對圖像和視頻進行特效生成，但代價是安裝配置比較繁瑣。

　　能不能簡單一點，再簡單一點？

　　印度一位程序員阿南德·帕瓦拉（Anand Pawara）設計了基于 OpenCV 實現的實時動畫特效。

　　畢竟 OpenCV 是成名已久的跨平臺視覺庫，是事實上的計算機視覺領域的標準庫。

　　項目中涉及的人臉識別、動作識別和運動跟蹤，均在 OpenCV 庫中原生支持。

　　幾天前，阿南德在 GitHub 上開源了完整代碼，并給出實現具體過程。

　　走過路過，不要錯過。

　　安裝過程

　　1、安裝依賴模塊

　　安裝依賴模塊：

pipinstall-rrequirements.txt


　　安裝 pytorch 1.0.0 :

pipinstalltorch===1.0.0torchvision===0.2.1-fhttps://download.pytorch.org/whl/cu100/torch_stable.html

　　2、下載配置文件（如果不能下載，文件鏈接在文末）

gdown—id1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK


　　3、運行程序

　　運行文件 :

pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint


　　針對攝像頭的實時特效生成 :

python.\image_animation.py-i.\Inputs\Monalisa.png-c.\checkpoints\vox-cpk.pth.tarRunapplicationfromvideofile:pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint-vpath_to_video_file


　　針對既有視頻的特效生成 :

python.\image_animation.py-i.\Inputs\Monalisa.png-c.\checkpoints\vox-cpk.pth.tar-v.\video_input\test1.mp4


　　如果你想上手試試，只需要調整相關配置文件即可。

　　模型分為兩種使用模式，一種是較為常規的導入視頻常規方法，另外一種就是實時生成視頻特效。

　　但是，請注意，一定要使用pytorch 1.0.0 版本，因為更高的版本在后端依賴的一階模型上存在問題。

　　按照作者的后續計劃，會推出客戶端程序，并且會增加假聲（deepfake voice）功能。

　　立足 OpenCV 的優化

　　阿南德所做的工作是簡化現有的一階運動模型（First Order Motion Model），使用 OpenCV 對視頻進行特效生成。

　　項目的后端支持由 OpenCV 庫完成，避免使用復雜的模型，降低使用門檻。

　　按照作者觀點，使用這個模型只需要對一類數據集進行訓練后，便可應用到對其全部事物上去，即具有較好的泛化能力。

　　不同于原一階模型的多個數據集測試效果，現在阿南德實時動態特效模型還只在人臉數據集上進行測試，后續后持續增加其他數據集。

　　這個模型的特點是易用，配置非常簡單，基本可以開箱即用，即使是訓練自己的數據集也會比較簡單。

　　因為立足于對現有資源進行優化配置，操作簡易，功能強大。

　　當然，簡單也會帶來問題，比如現在數據集較為單一，針對的主要是人臉數據集。

　　此外，對人臉的輪廓識別效果還不那么令人滿意，需要加以改造。

　　作者簡介

　　項目作者阿南德·帕瓦拉（Anand Pawara）是印度 AvenDATA 公司的一名深度學習工程師，現居孟買。

　　繁瑣的工作自動化，大幅度降低上手的難度。

　　完整實現過程連接在下面，如果有興趣，歡迎自己去試試喲~

　　參考鏈接：

　　https://github.com/anandpawara/Real_Time_Image_Animation

　　https://m.weibo.cn/1402400261/4508119667605445

總結

以上是生活随笔為你收集整理的你动、蒙娜丽莎跟着一起动，OpenCV这么用，表情口型造假更难防了的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。