簡介：?隨著帶寬成本的降低和端上算力的提升，在直播、短視頻中基于流的互動玩法也將越來越豐富；無論是基于人臉、手勢、分割算法的智能化貼紙，還是結合算法的小游戲有了越來越好的舞臺；業界短視頻和直播主要針對的娛樂性的場景，更是將娛樂化的玩法用到了極致，例如抖音的仿flappy bird潛水艇小游戲，最氣的漫畫風格的拍攝玩法都引爆成為熱點。抖音有PC的玩法生產工具EffectCreater生產工具和移動端的玩法社區特效君，已經打打造了一個支持數以萬計的設計師的生態圈。

背景

隨著帶寬成本的降低和端上算力的提升，在直播、短視頻中基于流的互動玩法也將越來越豐富；無論是基于人臉、手勢、分割算法的智能化貼紙，還是結合算法的小游戲有了越來越好的舞臺；業界短視頻和直播主要針對的娛樂性的場景，更是將娛樂化的玩法用到了極致，例如抖音的仿flappy bird潛水艇小游戲，最氣的漫畫風格的拍攝玩法都引爆成為熱點。抖音有PC的玩法生產工具EffectCreater生產工具和移動端的玩法社區特效君，已經打打造了一個支持數以萬計的設計師的生態圈。

淘寶直播和短視頻更偏向電商場景，我們也在探索這些玩法在直播和短視頻中的應用，對提升直播間停留時長，豐富直播間和短視頻內容；其中在視頻流里面渲染和算法調用幾乎都是Native的能力，如果用iOS和Android上分別實現，性能較難把控，開發成本、上線和下線成本高，必須在活動前很長時間開發，然后隨著版本發版，活動結束后為了減少包大小，又需要將代碼刪除，玩法也無法沉淀。

跨端方案成為唯一選擇，為了提高運營、設計和玩法開發人員的制作效率，我們也必須有配套的素材生產工具和玩法編輯工具，解決素材制作-效果調試和預覽-素材上傳-素材投放全鏈路的問題，同時我們也希望玩法能結合權益產生更大價值。

跨平臺渲染計算引擎

首先在底層渲染層，我們開發了基于C++的跨平臺渲染計算引擎RACE，除了為傳統的視頻前處理、畫質增強、美顏美型美妝外，也提供了動畫系統、玩法系統等游戲化的能力，在一個渲染引擎里面將媒體渲染和游戲化渲染結合起來。

我們采用了游戲行業經典的ECS系統，加以簡化和改進，來解決渲染關系，渲染邏輯和玩法邏輯的組織。

玩法往往需要多個算法的配合，同時視頻美顏、前處理等等也需要算法的能力，端上算力有限，合理的算力管理調度也必不可少，所以我們開發了PixelAI統一的算法計算框架，一個是用來進行算法生命周期模型管理、還有算法調度，性能監控，同時也提供了多平臺的算法運行時統一的基建設施，這樣算法同學只要做好模型推理和算法實現，所有工程化的東西一站式解決。

腳本系統設計

在玩法方面，我們希望玩法可以動態下發，這就需要能用腳本去做玩法，我們希望將渲染計算的能力全部導出到腳本系統里面，這樣就可以在腳本里面利用底層強大的能力；同時玩法里面可以方便的調用業務接口，做好玩法和業務的關聯，業務邏輯主要在Weex和H5環境，同時我們也希望腳本能力能夠使用在編輯器上，供跨端的前端框架如Electron 或Flutter直接調用，這樣節省了大量的編輯器開發工作量。

我們在不同JS引擎上封裝了一層JS Wrapper層，抹平不同JS引擎的JSBinding問題，利用LLVM分析c++頭文件，利用python工具編寫JSBinding模板全自動化導出C++到JS的接口；對原有的渲染計算框沒有做任何修改，這樣在不需要玩法的情況下，不影響穩定性；

同時我們也導出了一份OpenGL到WebGL的接口，這樣完全可以在JS側能在視頻流里面實現更豐富的渲染能力。

MediaAI素材玩法編輯器

編輯器我們和前端和設計師合作，采用Electron方案，編輯器預覽和編輯窗口的顯示核心由RACE渲染計算統一提供，Electron底層是NodeJS,NodeJS的JS引擎是V8，只要將RACE的JSBinding接口直接注入到V8里面，編輯就可以調用全部的RACE接口做窗口預覽和編輯，這樣編輯器開發就節省了大量的開發工作量；

編輯器中接入素材平臺，運營和開發人員編輯好素材和玩法之后，上傳到素材管理平臺，由素材管理平臺進行分發，玩法類由有相應權益的主播或者運營設置好參數，如玩法對應的權益，下載玩法到推流端或者播放端，在端上的JS環境中解析JS腳本，加載素材和玩法邏輯，渲染和計算部分底層統一由JS binding調用到跨平臺的RACE引擎完成，完整鏈路如下：

編輯器既可以面向設計師制作各種人臉手勢觸發貼紙、視頻文字模板等等，又可以面向前端開發者制作互動小游戲：

部分落地

春節期間淘寶直播推出的春節氛圍：

直播后面比較亂，利用分割算法來個背景模糊，或者來個抱抱寶寶的小怪獸：

商家希望主播和達人能夠拍攝短視頻對商品進行介紹推廣，主播和達人也能夠從短視頻的購買中分傭，對廣大中小主播和達人而言，將商品寄送到每個可能會推廣的主播和達人成本高昂，我們360度的拍攝一個商品，然后利用主播可以用手勢控制縮放旋轉商品別介紹，這樣就可以極低成本無接觸式的生產商品推廣短視頻；

在直播連麥或者粉絲連麥中做個flappy bird的小游戲？或者主播在發放紅包后，粉絲通過玩游戲通過游戲得分才能領取紅包，這樣既有趣，又將粉絲留在直播間；

來點可愛又萌的美妝貼紙（原諒一個程序員全程友情出鏡）；

后記

一個好的媒體互動產品能給業務帶來更多的活力，但往往需要創意設計師、算法、底層和業務開發共同完成，端上算力有限，特別是在淘寶直播，手淘短視頻等場景下，其他業務已經占用了很高的性能，需要靈活高效的架構，很好的性能，針對高中低端機的分級體驗。在電商場景下，挖掘更適合電商玩法的互動能給業務帶來更大的價值，好玩的互動再跟權益綁定，為商家、主播提供更多更好玩的運營工具；在大促活動提供更有趣的玩法、日常活動里面提供更好的留存手段。

我們近期會新增很多的渲染能力和算法能力，打造好基礎，這樣才會更大的發揮大家的創意；我們近期也將舉辦一個素材設計比賽，激活大家的創造力，等配套工具更完善，我們也會將工具開放給外部的商家、主播等，打造更好玩的直播短視頻生態。

?

?

原文鏈接
本文為阿里云原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的淘宝直播在智能互动领域的探索及落地的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。