日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

图神经网络PGL助力国民级音乐App,创新迭代千亿级推荐系统(人工智能应用案例)

發布時間:2023/12/2 windows 59 豆豆
生活随笔 收集整理的這篇文章主要介紹了 图神经网络PGL助力国民级音乐App,创新迭代千亿级推荐系统(人工智能应用案例) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

每當夜深人靜時,你打開網易云音樂,或聽歌刷樂評,或看直播閑聊,享受著以心交心的放松愉悅。在這背后,有一群技術人員苦思冥想地探索著,只為讓“云村”越來越懂你。

“不同于一般的聊天文本或圖片,音樂本身是跨域數據,具備若干特征,數據維度非常多。而1.8億月活海量用戶的音樂相關數據,帶來的計算量、推薦量、參數規模都巨大無比。”網易云音樂機器學習平臺技術團隊意識到,在這樣復雜問題面前,傳統機器學習方法漸漸無力招架。

此外,云音樂的直播業務興起,商業化表現良好,團隊的擔子更重了,“直播行為與音樂行為差異甚大,這意味著計算量與難度進一步增加。”壓力之下,該團隊將目光瞄向“圖神經網絡”,并最終選擇應用百度飛槳PGL圖神經網絡技術來迭代升級云音樂的推薦系統。

推薦系統為何需要圖神經網絡?

作為全球知名音樂社區,網易云音樂在繁榮發展的同時,其推薦系統面臨三大難題:囊括音樂、歌單、Mlog、直播、云圈、動態等的多域數據;海量用戶產出的超大規模數據;超30萬音樂人發布歌曲,超28億用戶產生歌單,27%用戶交流/生產內容構成的動態數據標簽。

傳統的機器學習方法需要嚴格制定一套規范來提取樣本,逐項指定樣本的各個特征。但云音樂用戶產生的多域數據,可能會有若干個特征,加上近2億的用戶規模以及高頻率的動態更新,必須進行巨量的計算,機器學習方法的訓練效率因此大受限制,變得十分低效。

而圖神經網絡技術的約束性較小,把每個用戶當做點,用戶的標簽作為邊,不同用戶之間基于點和邊的關聯形成網,在此基礎上建模分析,因此能更高效地表征、篩選某一類用戶。比如,當兩位素不相識的寶媽,同樣愛聽某些親子歌曲時,她們在“圖”中就有可觸達的連接,模型會根據這些連接關系學習出合適的表征,并把這些親子歌曲推薦給相似的用戶群體。

事實上,圖神經網絡已經成為目前互聯網企業高效表征用戶與內容結構的關鍵技術。既能基于用戶在歌曲、歌單、動態、Mlog等各方面的跨域行為聯合建模;又能支持多種行為子圖,如深挖用戶在歌曲方面的播放、點贊行為;并支持載入用戶節點的畫像特征與內容節點的類型特征;還支持靈活擴展,如適用音樂業務場景的圖神經網絡應用能很方便地遷移改造用來支持直播業務場景。

飛槳PGL圖神經網絡的三大領先能力

市面上提供圖神經網絡技術的廠商不少,說起選擇百度飛槳PGL的原因,網易云音樂機器學習平臺技術團隊總結了三點:飛槳PGL支持超大規模數據的全圖存儲、子圖檢索、高效圖學習三大領先能力。

團隊曾經嘗試過多家國內外頂級廠商的圖神經網絡技術,其中兩家國際大廠的產品沒有現成的分布式編程范式,無法高效地處理超大規模圖模型訓練當中遇到的圖存儲、分布式訓練等問題,在單機層面頂多支持到千萬級別或億級別,而到了百億甚至千億級別,只有飛槳PGL挺住了。
據介紹,云音樂的數據規模非常龐大,數據關系即使經過裁剪也高達千億級別以上。而飛槳PGL技術,原生支持分布式圖存儲和分布式采樣,可將圖的特征存儲在不同的Server上,也支持將不同子圖的采樣分布式處理,并基于PaddlePaddle Fleet API來完成分布式訓練,實現在分布式的“瘦計算節點”上加速計算,因而能夠為云音樂處理高達百億級別的大規模數據。

不僅如此,飛槳PGL實現了極低成本的大規模圖存儲,這讓網易云音樂技術團隊非常認可。“飛槳PGL的分布式圖存儲方案比較靈活,適合云音樂,能快速搭起若干個分布式網絡,無需專業數據庫存儲底層能力,存儲成本降低70%+。”在4億節點與400億邊數據這樣的場景下,飛槳PGL的分布式圖引擎資源,以60彈性節點(4CPU,16GB)的配置,可提供比中心化數據庫更簡單、更靈活的存儲服務。

再者,他們團隊還體驗到飛槳PGL的另一個優點,即靈活的子圖檢索模式。飛槳PGL不僅預置常用模式,同時聯動分布式圖存儲引擎,支持自定義子圖檢索模式,更符合業務實際需求,使用起來更順手更高效。

飛槳PGL給網易云音樂技術團隊印象最深的一次是,用不到30多臺閑置老舊CPU機器在1天內訓練完100個epoch數百億邊的LightGCN模型。這在業內人士聽來可能會有些不可思議。“要是換成過去那種單機方案很難實現,因為內存早已爆掉了,無法存儲這么巨大的圖。”團隊成員介紹道,也許還有其他方案能實現,但飛槳PGL的方案,性價比極高,適合大規模應用。云音樂的推薦系統采用飛槳PGL技術后,在冷門歌曲分發、云村廣場、陌生人一起聽等多個細分業務場景的效率都有不同程度的顯著提升,最高甚至提升了近一倍。

可以說,飛槳PGL所提供的支持超大規模數據的極低成本全圖存儲、靈活子圖檢索、高效圖學習等能力,在云音樂的工業實踐中真正用下來,發現都是能夠滿足實際需要的。這正是飛槳平臺源于產業實踐,更適合產業應用的最好證明。

飛槳PGL圖神經網絡打開應用新空間

基于超大規模復雜數據的用戶與內容理解是許多互聯網內容企業所面臨的共同課題。而飛槳PGL圖神經網絡技術在網易云音樂的成功落地,佐證了自身作為企業可用的高性價比超大規模圖神經網絡方案的強大實力,將助力這些企業高效、低成本地表征用戶與內容,創建完善精準推薦機制,做用戶的“知心人”,進而催生新形態新模式,從中獲取商業收益。

接下來網易云音樂機器學習技術團隊還將立足云音樂的實踐,探索圖神經網絡技術與AI的深度融合創新,如構建音樂社區的用戶和內容理解中臺,以及基于知識圖譜的圖神經網絡落地應用;并計劃與飛槳一起反哺開源社區,助推圖神經網絡技術在產業界廣泛落地。

總結

以上是生活随笔為你收集整理的图神经网络PGL助力国民级音乐App,创新迭代千亿级推荐系统(人工智能应用案例)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。