簡介：2021 年，隨著社會節(jié)奏的加快，用戶碎片化消費時間不斷增加，當前短視頻的消費用戶規(guī)模已超 7.73 億人，短視頻的市場規(guī)模超過 2000 億元。短視頻行業(yè)發(fā)展迅速，但也存在低質(zhì)內(nèi)容泛濫，精品內(nèi)容稀缺的問題。在 7 月 10 日的 Imagine 阿里云視頻云全景創(chuàng)新峰會上，阿里巴巴文娛資深算法專家李靜，發(fā)表了《視頻技術再創(chuàng)新，開啟內(nèi)容數(shù)字化浪潮》的主題演講，從短視頻領域的內(nèi)容生產(chǎn)困境出發(fā)，分享 MediaAI 平臺的技術能力及應用實踐，解密優(yōu)酷短視頻智能生產(chǎn)的技術，以下為演講內(nèi)容整理。

優(yōu)酷如何開啟內(nèi)容數(shù)字化浪潮？

既然是優(yōu)酷，就要從長視頻、短視頻以及最后分發(fā)呈現(xiàn)出來的所有的視頻形態(tài)說起。優(yōu)酷的數(shù)字化也會從視頻的整個生命周期來分析。優(yōu)酷作為一個長視頻網(wǎng)站，從長視頻最初的拍攝到制作再到完成，我們有內(nèi)容評估的數(shù)字化系統(tǒng)。

當一個長視頻拍攝出來之后，如何利用這種版權內(nèi)容再進行二次的創(chuàng)作，這就是創(chuàng)作內(nèi)容的的數(shù)字化；接下來我們希望生成一些短視頻特效，讓用戶看起來更好看，更有趣，這是特效的數(shù)字化。

最后，在終端上用戶拿著手機、平板或者通過電視大屏觀看視頻的時候如何體驗內(nèi)容數(shù)字化的好處？

所以，內(nèi)容的數(shù)字化浪潮要從整個視頻的生命周期來講。

創(chuàng)作要素解構

第一個是內(nèi)容評估的數(shù)字化。在阿里巴巴文娛有一個北斗星的團隊，是專注于做長視頻的內(nèi)容評估，它的核心點是希望通過后驗的數(shù)據(jù)去衡量整個視頻內(nèi)容的質(zhì)量，視頻內(nèi)容或者視頻的生產(chǎn)元素。

其中又包括一些外延的東西，例如導演、編劇、演員、劇本等，這些東西是大家平時能聽到的，但距離自己又很遙遠的東西，這些就是視頻內(nèi)容生產(chǎn)外延的內(nèi)容。

外延之外還有內(nèi)延信息，包括呈現(xiàn)出來視頻本身它涵蓋的一些人物的信息、鏡頭的語言以及本身人物的性格等。所有的這些信息都是基于我們 NLP 語言（Natural Language Processing）或者 CV（Computer Vision）的能力進行解構。

所以當我們有了外延信息和對于內(nèi)容的解構之后，我們希望可以通過這些信息去預測用戶的心理感受或者對內(nèi)容的喜好度。

從數(shù)據(jù)側獲得的先驗數(shù)據(jù)，其中包含了非常直觀的收視率、用戶的互動狀態(tài)、評論數(shù)，我們希望通過這些數(shù)據(jù)可以進一步挖掘用戶的心理狀態(tài)、生理狀態(tài)，以此推動我們核心能力來完成內(nèi)容的評估。

內(nèi)容的評估需要應用到 AI 的能力，一個是 AI 評估，一個是 AI 體檢。

什么是 AI 評估？

一個視頻片段是否好，以前用人來審，需要花費大量的人力。如果用人工審核預測一部電視劇是否是爆款，會非常非常困難。所以在內(nèi)容評估上我們利用北斗星的系統(tǒng)，從最開始演員、供應商、IP 等級、導演和編劇的信息預估這部電視劇是什么樣的水平。

并且，可以對電視劇里的的演員做進一步更深的分析，例如他的粉絲價值，整個口碑等。通過分析我們讓平臺進一步做輔助性決策，再利用我們的 AI 技術最終評估這部電視劇到底是什么檔次。

第二個點是 AI 體檢。

當視頻片段拍完剪輯好之后，用算法來預測這些片段，哪些是看點，哪些是高潮點，哪些是劇情非常拖沓無聊的點，去尋找用戶可能棄劇的風險點，給出一些建設性的意見，幫助剪輯師進行剪輯優(yōu)化。這是優(yōu)酷內(nèi)容評估另外一個應用點。

在長視頻之后，就是短視頻了。

優(yōu)酷的《山河令》和《司藤》在放送結束之后，我們?nèi)绾芜M一步利用它做二次的短視頻創(chuàng)作？

短視頻最近幾年來非常火，去年短視頻消費用戶達 7 億多人，短視頻工會和 MCN 數(shù)量超過兩萬家，市場規(guī)模超過兩千億，在如此龐大的短視頻消費市場下我們面臨了一些問題，高質(zhì)量的短視頻非常稀缺，大量的低質(zhì)的、粗制濫造的短視頻充斥在整個市場上。

所以，我們想利用自動化生產(chǎn)的方式代替掉那些質(zhì)量低劣的短視頻，讓我們的智能創(chuàng)作達到人創(chuàng)作的水平，這是優(yōu)酷想要去做的。

所以阿里巴巴文娛研發(fā)出了概念級的視頻的解構能力去賦能智能創(chuàng)作。這是什么呢？

當每次提到視頻解構、CV 能力，大家可能都會自然想到一些標簽，對于一個視頻場景，里面有人物、物體、運動等，在過去 CV 領域這些是特別客觀的標簽描述，但進行視頻創(chuàng)作的時候，這些東西并不是創(chuàng)作者們非常需要的，創(chuàng)作者們需要的元素或者素材是能夠讓觀眾有深切感受的，所以我們重新定義了語義級的標簽，才能夠賦能智能創(chuàng)作。

視頻解構賦能短視頻生產(chǎn)

有了基于概念級的標簽解構能力之后我們可以進行一系列的編輯。

在短視頻中使用濃縮的手段，把這個片段中平淡的劇情或者沒有對話的情景切掉，將對話或者有信息含量的片段拼接在一起，最終形成完整的短視頻片段。

在綜藝的場景，將貓晚易烊千璽的片段進行重新剪輯，做成粉絲向的短視頻，可以取得很好的效果。

以上所有的視頻制作，都利用了我們過去這一年以來所沉淀下來的 AI 技術，所有的視頻都是可以實現(xiàn)自動化的生產(chǎn)。

我們目前整個團隊的智能生產(chǎn)技術的產(chǎn)能是一天萬條以上，但由于每一條都要經(jīng)過核審，稍微限制了一下產(chǎn)能。智能生產(chǎn)的質(zhì)量在人工審核的整體通過率是 90%，遠遠高于普通人的或者優(yōu)酷的 UP 主自己創(chuàng)作的視頻通過率。

視頻濃縮，多風格化劇集快看

現(xiàn)在大家碎片化的消費習慣，長視頻的觀看率越來愈低，所以我們針對這種情況有不同細度濃縮的手段。

如 5 分鐘的短劇，3 分鐘看一部電影等。在優(yōu)酷看劇時，每個劇前面有一個 15 秒的前情提要，這就是我們自動化生產(chǎn)出來的。

同時，因為我們具有風格化的解構能力，所以可以提取不同風格的前情提要，對于女生做甜向的前情提要，對于男生來說可能更喜歡悲壯型的，這些提要都是可以抽取出來的。視頻的濃縮就是我們把不同風格的關鍵劇情擇出來，在短時間內(nèi)讓你了解到故事的主線。

另外一種短視頻的類型也是現(xiàn)在非常火爆的，那就是解說類的短視頻。

我們重新定義了所謂的 Text to Video 的技術，把視頻進行解構化，生產(chǎn)視頻劇本解說詞，兩者進行匹配，最后通過劇本生成解說類短視頻。

這里的解說詞是來自于人工編輯或者現(xiàn)有劇本，視頻的解說 tts 能力是由達摩院提供。目前 tts 已經(jīng)有 10 多種風格，有不同方言，不同的解說風格。

接下來，還有圖文轉視頻，每個熱點新聞底下都有配圖，我們可以使其直接生成視頻，但生成的視頻不是 PPT，而是結合 IP 版權圖片相對應的視頻內(nèi)容。

娛樂資訊類的視頻也是一樣，其中的圖片可以直接溯源定位找到我們對應的視頻版權內(nèi)容。過于復雜的圖片，視頻生產(chǎn)才會直接使用圖片。

內(nèi)容呈現(xiàn)：特效讓視頻更好看

視頻的特效，我們會針對于動作、動作的幅度以及主角人物等進行自動化加特效，這里涉及到的 CV 技術包括：動作檢測，動作幅度檢測，范圍檢測，明星識別，BGM 等。
瑣碎的東西來加特效顯示會非常亂，所以我們對于運動幅度還是有一定要求的，達到某個幅度我們再加特效，相對來說觀看體驗好很多，在 CG 側我們有自己的大千云端渲染系統(tǒng)，支持不同特效的制作。

綜藝特效是目前制作綜藝必不可少的環(huán)節(jié)，然而制作一個特效，非常費時，我們的目標是讓 AI 發(fā)現(xiàn)、標注和凸顯綜藝節(jié)目的精彩時刻，讓 AI 制作快速化，批量化。

目前，我們基于 CG 技術已經(jīng)研發(fā)出 30 余種特效類型，《這！就是街舞》就是我們特效技術一個小小的展示。

CBA 有這么一個子彈時刻，在子彈時刻上我們可以加投籃的熱區(qū)圖，告訴大家這個投籃命中度是多少，可以輔助大家得到更多的信息。

互動上的新玩法，就要講到端上了，第一個視頻橫轉豎。比如在地鐵上非常擁擠的時候大家都是豎著看的，很少有橫著看的，基于這樣的需求我們也得做把橫的視頻轉為豎的，這里的難點是確定主體，第二是穩(wěn)定。

我們還有一個技術是自由視角視頻，這是國內(nèi)也是業(yè)內(nèi)第一個在 C 端上，用戶可以體驗自由視角的產(chǎn)品，在去年的《這！就是街舞》節(jié)目上我們已經(jīng)應用了這個技術。

科技冬奧 冰雪 VR

今年的《這！就是街舞》我們技術還會進一步升級，大家敬請期待。在前段冬奧測試賽上也進行了測試，我們希望用這個技術讓用戶多角度觀看他們想看的體育內(nèi)容。并且阿里巴巴文娛會不斷創(chuàng)新視頻技術，為大家?guī)聿灰粯拥囊暵狊w驗，開啟中國視頻技術內(nèi)容數(shù)字化浪潮。

「視頻云技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里云一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋。公眾號后臺回復【技術】可加入阿里云視頻云產(chǎn)品技術交流群，和業(yè)內(nèi)大咖一起探討音視頻技術，獲取更多行業(yè)最新信息。

原文鏈接：https://developer.aliyun.com/article/788122?

版權聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻，版權歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權，亦不承擔相應法律責任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權投訴表單進行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權內(nèi)容。

總結

以上是生活随笔為你收集整理的解密优酷智能生产技术，看 AI 赋能内容数字化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。