RTC 月度小报 5 月 | WebRTC M83、SOLO 源码解读、实时美声……
本月亮點速覽
RTC開發(fā)者社區(qū)：
CSDN專訪RTC編程大賽獲獎?wù)?/p>
如何高效實現(xiàn)PSTN/SIP接入實時音視頻網(wǎng)絡(luò)
在線教育的創(chuàng)新模式及AI應(yīng)用實踐
開源與技術(shù)科普：
WebRTC M83?Release
開源音頻編解碼器SOLO源碼解讀（二）
科普動畫：網(wǎng)絡(luò)協(xié)議那點事兒
實時美聲背后的技術(shù)原理
聲網(wǎng)動態(tài)：
Agora Unreal SDK?beta版上線
聲網(wǎng)助力Kumu實現(xiàn)玩法創(chuàng)新
RTC開發(fā)者社區(qū)
CSDN 專訪 RTC 編程大賽獲獎選手
?
由聲網(wǎng) Agora 舉辦的 RTC 2020編程挑戰(zhàn)賽春季賽在 4 月底正式結(jié)束。這次的比賽吸引了來自 70+高校及開發(fā)團隊的 300+名開發(fā)者的報名參賽，他們組成了 100+隊伍，其中有 18 支入圍決賽，最終 9 個團隊獲獎。
就在近期，技術(shù)社區(qū) CSDN?對其中他們最感興趣的兩個團隊——Syncit?和竹辯的三位 90 后、00 后進行了采訪。我們也從中了解到了他們身為開發(fā)者以外的一面，航拍高手、吉他十級高手、6500+Star 開源項目作者。想了解關(guān)于他們更多的故事，可以閱讀今天的另一篇推送。
這次包括獲獎作品在內(nèi)，所有入圍決賽的項目，都已在 Github 開源：
?https://github.com/AgoraIO-Community/RTC-Hackathon
我們后續(xù)還將邀請參賽團隊們線上分享他們的開發(fā)實踐，敬請關(guān)注「聲網(wǎng)Agora開發(fā)者」微信公眾號。同時，我們將在?7?月開啟秋季賽，會有更具挑戰(zhàn)性的賽題與更豐厚的獎勵，敬請期待。
如何高效實現(xiàn)PSTN/SIP接入實時音視頻網(wǎng)絡(luò)
在本月的 Agora Talk 直播課，我們請到了來自啟智的高級開發(fā)工程師王良，他擁有?12 年企業(yè)通訊服務(wù)從業(yè)經(jīng)驗，對 SIP 協(xié)議、WebRTC 協(xié)議、FreeSWITCH 系統(tǒng)、高并發(fā)通訊集群框架有非常深入的了解和實踐。主導(dǎo)開發(fā)公司的大規(guī)模 SIP 音視頻集群通信系統(tǒng)，該系統(tǒng)當前支撐 4 萬并發(fā)實時 SIP 語音呼叫能力。
他在這期 Agora Talk 中為我們分享了如何高效實現(xiàn) PSTN/SIP 接入實時音視頻網(wǎng)絡(luò)的經(jīng)驗。大家可以掃碼觀看回放。
在線教育的創(chuàng)新模式及AI的應(yīng)用實踐
在線教育成為現(xiàn)在保障學(xué)生學(xué)業(yè)的重要途徑。在這一期 Agora Talk 直播課，我們邀請到了學(xué)點云創(chuàng)始人蔣利兵，他從事音視頻通信及在線教育行業(yè)超過15年。他曾任華為 WeLink 視頻會議負責(zé)人，此前在新浪負責(zé)視頻聊天室產(chǎn)品視頻 CODEC 算法優(yōu)化，對視頻直播、在線教育有深刻理解。服務(wù)過的客戶包括達內(nèi)教育、四中網(wǎng)校、VIPKID、一起作業(yè)、說客英語等眾多在線教育頭部機構(gòu)。
他為我們分享了在線教育直播的教學(xué)模式創(chuàng)新，以及 AI 在教育場景中的應(yīng)用。大家可以掃碼觀看回放。
開源與技術(shù)科普
?WebRTC M83 Release
WebRTC M83， 其中包含10多項新功能和35多項錯誤修復(fù)，增強功能以及穩(wěn)定性/性能改進，包括Insertable Streams、RTCPeerConnection.canTrickleIceCandidates，以及對 ice-ufrag 和 ice-pwd 語法的新限制等特性和改進。更多詳情，請查詢 Google 官方論壇。
開源音頻編解碼器 SOLO 源碼解讀（二）
聲網(wǎng) Agora 在 2019 年 10 月 24 日，正式對所有開發(fā)者開源自研的抗丟包音頻編解碼器 SOLO。該編解碼器適用于所有需要實時音頻交互的場景，特別針對弱網(wǎng)對抗進行了優(yōu)化，并且在相同弱網(wǎng)環(huán)境下 MOS 分優(yōu)于 Opus。SOLO 可應(yīng)用于各類 RTC 應(yīng)用，并且可不與 Agora SDK 綁定。
上一期 SOLO 源碼解析分析了 SOLO 的帶寬擴展系統(tǒng)，本期 SOLO 源碼解析將會介紹一下 SOLO 的窄帶編碼流程。因為 SOLO 的編碼框架是基于 Silk 修改而成，所以本文對于 Silk 原生代碼的介紹會比較簡略。點擊這里可以瀏覽第二篇源碼解讀。
SOLO 源碼：https://github.com/AgoraIO-Community/Solo
技術(shù)科普：網(wǎng)絡(luò)協(xié)議那點事兒
看過我們前兩期視頻的小伙伴應(yīng)該都了解了互聯(lián)網(wǎng)的發(fā)展簡史，以及直播網(wǎng)課背后的技術(shù)原理。但不論是最初的互聯(lián)網(wǎng)，還是現(xiàn)在的直播、視頻通話，設(shè)備之間的網(wǎng)絡(luò)連接、數(shù)據(jù)傳輸都是建立在一系列網(wǎng)絡(luò)協(xié)議之上的。所以，這一期，我們簡單講講其中幾個最常見的網(wǎng)絡(luò)協(xié)議，以及他們之間的區(qū)別。
實時美聲背后的技術(shù)原理
在歌唱場景、語聊等場景中，用戶已經(jīng)不在滿足于被聽見、被聽清、能互動，以及擁有高清的音質(zhì)體驗。他們有了更進一步的需求，希望不僅能有最佳的音質(zhì)，還想要讓自己的聲音變得更動聽、更有磁性。
就像我們看高清視頻、高清照時，第一感受是震撼，所有細節(jié)都能看清了，但皮膚的紋理、瑕疵也會暴露出來。所以會增加紅潤、磨皮、美顏等，讓自己更好看。同樣道理，高音質(zhì)場景下，會使用高采樣率（44.1kHz - 48kHz）的軟件驅(qū)動采集，然后使用音頻損傷較小的前處理算法（降噪、回聲消除、自動增益等）對信號進行處理，并使用保真性能較好的 Codec 進行編碼，使得遠端接收到的音頻達到高保真效果。這樣一來聲音細節(jié)會更豐富，也更接近真實的聽感。但是，聲音中的瑕疵也變得更加明顯，所以我們需要為聲音“加了一層裸妝”，讓聲音更動聽、完美，又不失本色。這就是RTC 場景下的實時美聲功能。
不過你知道什么才是一般人認為的“好聽的聲音”？如何將這些好聲音數(shù)據(jù)化？又怎樣通過算法來“制造”好聲音？設(shè)計算法時應(yīng)該注意哪些問題？點擊這里，閱讀關(guān)于實時美聲的技術(shù)科普。
聲網(wǎng)動態(tài)
Agora Unreal SDK Beta 版上線
Epic 公布了他們?yōu)榇螘r代游戲準備的 Unreal 5 游戲引擎，以及一份效果驚艷的 Demo。據(jù)稱，游戲中的每個資源有一百萬個繪制三角面，每一幀有超過十億個繪制三角面。也就是說，開發(fā)者構(gòu)建的游戲場景，能獲得電影特效場景般的視覺體驗。
事實上，聲網(wǎng)也有許多采用 Unreal 的開發(fā)者。為了能讓開發(fā)者可以在游戲中快速實現(xiàn)實時音視頻對話，聲網(wǎng) Agora Unreal SDK Beta 版也已上線。
由于 Unreal 為開發(fā)者提供了兩種開發(fā)方式，一種是 Blueprint，即可視化編程，另一種是基于 C++開發(fā)。所以 Agora Unreal SDK 也提供了兩個版本—— Blueprint 和 C++，兩個版本均已上傳至 Agora Community 的 Github ：
Blueprint版本：https://github.com/AgoraIO-Community/Agora-Unreal-SDK-Blueprint
C++版本：https://github.com/AgoraIO-Community/Agora-Unreal-SDK-CPP
聲網(wǎng)助力Kumu實現(xiàn)多種直播玩法創(chuàng)新
一直以來，東南亞直播市場主要由中國出海企業(yè)主導(dǎo)，比如BIGO LIVE、MICO等頭部玩家，而菲律賓本土直播 App Kumu 的成長將有可能打破這一局面，在東南亞市場的競爭中占據(jù)一席之地。據(jù)白鯨出海報道，近期，Kumu不僅獲得近500萬美元的A輪融資，用戶日均使用時長也在趕超頭部玩家BIGO LIVE。Similar Web數(shù)據(jù)顯示?，Kumu 2020年Q1在菲律賓市場的用戶日均使用時長近1小時，已接近BIGO LIVE 的2倍。
擁有這么高的用戶粘性，一方面是受到新冠肺炎疫情的影響，大量用戶居家隔離，促使社交直播、游戲類應(yīng)用成為海外線上實時互動的主流場景。作為Kumu背后的實時音視頻技術(shù)服務(wù)商，聲網(wǎng)Agora透露，2020年新冠肺炎疫情期間，Kumu在聲網(wǎng)的實時音視頻用量增長了3.5倍；而另一方面，Kumu自身豐富多樣的直播玩法，才是其能夠長時間留住用戶的關(guān)鍵因素。
多種直播模式，提升內(nèi)容豐富性
Kumu是一個集才藝直播、電商直播、直播答題、朋友圈以及聊天室于一體的App。
從2018年9月開始，依托于聲網(wǎng)Agora實時音視頻技術(shù)的支持，Kumu先后上線了視頻直播、連麥直播、直播答題（HQ）、語音直播、電商直播、直播PK等多種場景功能。?
值得一提的是，隨著電商直播在國內(nèi)的日益火爆，Kumu作為一款東南亞本土直播app，也率先涉足電商直播這一熱門場景，并于2019年10月上線電商直播玩法，這背后的實時音視頻技術(shù)同樣由聲網(wǎng)提供服務(wù)支持。
聲網(wǎng)目前已上線完整的互動直播電商解決方案，既能實現(xiàn)傳統(tǒng)電商直播，也可實現(xiàn)互動電商直播場景，企業(yè)和開發(fā)者可快速復(fù)用，并基于靈活的接口組合，實現(xiàn)主播與用戶、與嘉賓連麥以及帶貨主播PK連麥等更多玩法。小于800ms的超低延時為電商直播場景創(chuàng)造了更多的可能性，主播可以實時接收用戶的信息、反饋，提升直播間互動及時性和積極性，增加轉(zhuǎn)化率。
目前，Gravy.Live、Bulbul.tv、Kumu 等海外一線電商社交平臺已經(jīng)完成了聲網(wǎng)互動直播電商解決方案的部署上線，同時還有更多知名電商平臺正在集成中。
Kumu相關(guān)業(yè)務(wù)負責(zé)人稱，使用聲網(wǎng)的實時音視頻服務(wù)，在保障直播質(zhì)量穩(wěn)定、可靠的前提下，還大大降低了公司在技術(shù)開發(fā)上的時間成本、人力成本以及帶寬的使用成本，提升效率。
總結(jié)
以上是生活随笔為你收集整理的RTC 月度小报 5 月 | WebRTC M83、SOLO 源码解读、实时美声……的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： code block怎样导入整个文件夹_
- 下一篇： 计算流体力学系列（二）：针对如下Sod