1. 流媒體概念

不知道你發(fā)現(xiàn)沒有，我們的生活正慢慢的向著“實(shí)時(shí)”發(fā)生轉(zhuǎn)變。我們獲取、分享信息，乃至日常中的衣食住行，都在變成像“自來水”那樣源源不斷“流體”服務(wù)，我們無需提前儲(chǔ)備，只需實(shí)時(shí)按需取用。這個(gè)轉(zhuǎn)變依賴于科技的進(jìn)步，計(jì)算機(jī)科技在歷經(jīng)了文件（File）、頁面（Web）時(shí)代后，今天來到了以“流（Flows/Streams）”為單位的時(shí)代。我們的生活就在各種信息流、數(shù)據(jù)流、媒體流中節(jié)奏越來越快，速度為王，質(zhì)量靠邊站。

向“流”轉(zhuǎn)變最初最典型的應(yīng)用就是流媒體（Streaming Midea）技術(shù)，它指的是在網(wǎng)絡(luò)上采用流式傳輸技術(shù)來發(fā)布音頻、視頻以及其他多媒體文件。所謂的流式傳輸就是將音頻、視頻多媒體文件經(jīng)過一定算法編碼壓縮成一個(gè)個(gè)很小的壓縮包，流媒體服務(wù)器通過特定網(wǎng)絡(luò)協(xié)議進(jìn)行連續(xù)、實(shí)時(shí)的傳送，用戶端接收到壓縮包后由播放軟件實(shí)時(shí)解壓縮實(shí)現(xiàn)播放的過程。而所謂的流媒體則特指一切采用這種流失傳輸?shù)拿襟w文件。

流媒體技術(shù)的出現(xiàn)改變了我們還未曾忘記的那種需要將整個(gè)音視頻文件下載到本地計(jì)算機(jī)才能進(jìn)行觀看，為此要等上漫長(zhǎng)時(shí)間的傳統(tǒng)媒體播放方式。我們今天通過互聯(lián)網(wǎng)看視頻、看直播、聽音樂，通過各種盒子（IPTV/OTT）看電視、聽廣播如此的方便，一鍵觀看即點(diǎn)即用，其背后就是有著流媒體系統(tǒng)的支撐。

2.流式傳輸特點(diǎn)

以往傳統(tǒng)看視頻的方式是將整個(gè)視頻文件下載到本地計(jì)算機(jī)硬盤，再通過本地播放器程序進(jìn)行觀看。而流式傳輸則是將連續(xù)視音頻經(jīng)壓縮編碼、數(shù)據(jù)打包后連續(xù)、實(shí)時(shí)的傳送給接收設(shè)備，用戶端在后續(xù)源源不斷的數(shù)據(jù)包到達(dá)的同時(shí)對(duì)接收到的數(shù)據(jù)進(jìn)行解壓和播放。這個(gè)過程中，只需要等待幾秒或幾十秒的啟動(dòng)時(shí)間就可以正常觀看視頻了，剩余的部分就像“水流”一樣在一邊觀看的同時(shí)一邊下載。下圖描繪了流式傳輸?shù)倪^程。

在對(duì)于音視頻的傳輸分發(fā)上，我們會(huì)經(jīng)常聽到HTTP漸進(jìn)式、HTTP流、RTMP、RTSP、HLS、HDS、DASH、Websocket等等專業(yè)術(shù)語。對(duì)于傳輸協(xié)議后續(xù)文章會(huì)專門討論，實(shí)際上，從傳輸方式上大致可以分發(fā)傳統(tǒng)文件下載、HTTP漸進(jìn)式下載、HTTP流式傳輸、實(shí)時(shí)流媒體傳輸四大類。

HTTP漸進(jìn)式是指通過支持Seek,終端播放器可從沒下載完成部分中任意選取一個(gè)時(shí)間點(diǎn)開始播放，如此來滿足不用等整個(gè)文件下載完快速播放的需求，一般MP4和FLV格式文件支持較好，打開一個(gè)視頻拖拽到中部，短暫緩沖即可播放，點(diǎn)擊暫停后文件仍將被持續(xù)下載就是典型的漸進(jìn)式下載，目前大型點(diǎn)播網(wǎng)站如YouTube、優(yōu)酷等均采用這種方式。

HTTP流式傳輸或者HTTP流化技術(shù)，不同廠商有不同做法，但主要思路都是在服務(wù)端將媒體文件分割成一個(gè)個(gè)很小的獨(dú)立切片文件，文件分片時(shí)需要同時(shí)產(chǎn)生用于跟蹤切片的索引文件（描述文件），播放器再通過HTTP協(xié)議向服務(wù)端請(qǐng)求一個(gè)個(gè)小的媒體切片實(shí)現(xiàn)點(diǎn)播或直播的播放，我們平常聽到的HLS（Apple）、HDS(Adobe)、MSS(Microsoft) 、DASH（MPEG通用標(biāo)準(zhǔn)）均屬于HTTP流的范疇。下表總結(jié)了不同傳輸方式的特點(diǎn)：

3. 流媒體系統(tǒng)構(gòu)成

流媒體文件從采集到最終播放的路徑就是一套完整的流媒體系統(tǒng)所需的組成部分。

從系統(tǒng)層面來看，編碼層負(fù)責(zé)對(duì)音視頻文件編碼壓縮（h.264/h.265/VP9/AAC等）；封裝層負(fù)責(zé)對(duì)數(shù)據(jù)包進(jìn)行容器封裝（flv/ts等）；協(xié)議層負(fù)責(zé)網(wǎng)絡(luò)打包（RTMP/HTTP等）；傳輸層負(fù)責(zé)網(wǎng)絡(luò)傳輸（socket/st等）；播放層負(fù)責(zé)對(duì)圖像進(jìn)行解碼顯示（FLASH/VLS/VIDEO JS等）。

從我們所熟知的產(chǎn)品服務(wù)層面，一套完整的流媒體系統(tǒng)所需的組件一般包括：

（1）編碼器：用于流媒體文件生成的編碼工具；

（2）流媒體數(shù)據(jù)；直播信號(hào)、點(diǎn)播文件；

（3）流媒體服務(wù)器：用于控制、傳送流媒體數(shù)據(jù)的流媒體服務(wù)器；

（4）傳輸網(wǎng)絡(luò)：能夠支持特定流式數(shù)據(jù)傳輸協(xié)議的傳輸網(wǎng)絡(luò)；

（5）多終端播放器：各操作平臺(tái)用于顯示流式數(shù)據(jù)的播放器。

以上5大組件是一個(gè)流媒體系統(tǒng)所必須要的基本組件，隨著近年來的迅猛發(fā)展，能夠承載大規(guī)模流媒體應(yīng)用的內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）也有必要納入流媒體系統(tǒng)的范疇了。除了這些基本系統(tǒng)外，大型的運(yùn)營(yíng)及流媒體系統(tǒng)還會(huì)有流媒體內(nèi)容制作生產(chǎn)、內(nèi)容管理控制、數(shù)據(jù)監(jiān)控等周邊系統(tǒng)和中間件等。

4. 流媒體涉及技術(shù)

流媒體技術(shù)誕生的主要目的是要在目前“盡力而為”的Internet上傳輸數(shù)據(jù)量非常大的音視頻文件，所以流媒體技術(shù)最核心的就是音視頻編解碼技術(shù)和流式傳輸技術(shù)。

然而，在今天這個(gè)“體驗(yàn)為王”的時(shí)代，我們需要面臨的流媒體，不論從用戶量級(jí)上還是應(yīng)用場(chǎng)景上來說都是極為復(fù)雜的。靠堆砌幾臺(tái)流媒體服務(wù)器，架個(gè)開源的OBS和播放器簡(jiǎn)單實(shí)現(xiàn)功能的時(shí)代早已過去。從當(dāng)下成熟的大型流媒體系統(tǒng)來看，要完成一個(gè)支撐高體驗(yàn)大規(guī)模的流媒體系統(tǒng)，必要要考慮的技術(shù)層面有：

（1）云計(jì)算基礎(chǔ)服務(wù)相關(guān)技術(shù)

這幾年視音頻技術(shù)、終端硬件平臺(tái)、用戶需求極速增長(zhǎng)的同時(shí)，骨干網(wǎng)、跨運(yùn)營(yíng)商等基礎(chǔ)設(shè)施的建設(shè)卻明顯沒有跟上趟。這種現(xiàn)狀下，要實(shí)現(xiàn)高穩(wěn)定、高并發(fā)、低延時(shí)的流媒體應(yīng)用，基于云架構(gòu)的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、CDN等底層基礎(chǔ)服務(wù)已經(jīng)變成了必須。硬件虛擬化，網(wǎng)絡(luò)虛擬化能夠最大程度保障視音頻播放的穩(wěn)定性；CDN內(nèi)容分發(fā)網(wǎng)絡(luò)能夠有效應(yīng)對(duì)高并發(fā)和突增流量的需求，對(duì)流媒體傳輸所有環(huán)節(jié)進(jìn)行針對(duì)性優(yōu)化能夠大幅降低延時(shí)；對(duì)象存儲(chǔ)滿足了流媒體數(shù)據(jù)的大規(guī)模存儲(chǔ)要求。

（2）視音頻相關(guān)技術(shù)

這個(gè)層面包括了視音頻的編/解碼、4K、VR等視音頻核心技術(shù)能力，尤其是在新形勢(shì)下移動(dòng)端編碼和播放的優(yōu)化。這里面包括了對(duì)不同硬件平臺(tái)、操作系統(tǒng)的實(shí)踐，固網(wǎng)移動(dòng)網(wǎng)等不同網(wǎng)絡(luò)環(huán)境下的理解，以及在弱網(wǎng)情況下的解決方案等。另外，4K、VR、AR等新技術(shù)的發(fā)展能提升提升用戶觀看體驗(yàn)，甚至引發(fā)全新應(yīng)用場(chǎng)景；新的編碼標(biāo)準(zhǔn)如H.265等能進(jìn)一步提升視音頻編碼效率，降低對(duì)網(wǎng)絡(luò)帶寬、CDN的消耗。

（3）場(chǎng)景化應(yīng)用相關(guān)技術(shù)

雖說流媒體的核心只是音視頻編解碼和流媒體傳輸，但針對(duì)當(dāng)下不同垂直領(lǐng)域?qū)τ诹髅襟w的應(yīng)用，其中一些場(chǎng)景化功能需求，流媒體系統(tǒng)也不得不去考慮。比如秀場(chǎng)娛樂直播的實(shí)時(shí)錄制，實(shí)時(shí)水印，實(shí)時(shí)鑒黃；社交直播的連麥；IPTV/OTT的時(shí)移回看；現(xiàn)場(chǎng)直播的云端導(dǎo)播；視頻網(wǎng)站的版權(quán)保護(hù)等等。

5.流媒體的應(yīng)用

（1）功能方面

流媒體技術(shù)實(shí)質(zhì)上就是用流式傳輸來分發(fā)音視頻，所以從功能上來講，流媒體主要應(yīng)用也就是點(diǎn)播和直播。

■ 點(diǎn)播：

音視頻的點(diǎn)播已經(jīng)非常成熟，其業(yè)務(wù)流程一般為上傳-轉(zhuǎn)碼-編輯制作-入庫-用戶請(qǐng)求-網(wǎng)絡(luò)分發(fā)-播放。類型上可以簡(jiǎn)單分為如下幾類：一是以優(yōu)酷、愛奇藝等為代表的音視頻點(diǎn)播網(wǎng)站，特點(diǎn)是少量上傳海量點(diǎn)播；二是以監(jiān)控、秀場(chǎng)直播錄制為代表的錄像點(diǎn)播，特點(diǎn)是海量上傳少量點(diǎn)播；三是以短視頻網(wǎng)站，特點(diǎn)是海量上傳海量點(diǎn)播。針對(duì)不同類型的點(diǎn)播應(yīng)用，需要架構(gòu)不同的流媒體系統(tǒng)。

需要說明的是，如前文所述目前點(diǎn)播大多以HTTP漸進(jìn)式方式分發(fā)，或者以HLS切片方式分發(fā)（點(diǎn)播的HLS只下載一次M3U8索引，后續(xù)就是.ts文件下載了），它更接近文件分發(fā)。

而我們后續(xù)文章將要著重論述的流媒體，主要是真正的實(shí)時(shí)流式傳輸，所以后續(xù)內(nèi)容主要討論的是流媒體在音視頻直播方面的應(yīng)用， 這也是觀止云團(tuán)隊(duì)優(yōu)勢(shì)所在。

■ 直播：

流媒體技術(shù)在音視頻直播的應(yīng)用，大概可以這樣分類，一是廣電新媒體網(wǎng)臺(tái)/IPTV直播/OTT直播為代表的以電視直播業(yè)務(wù)為主，特點(diǎn)是延時(shí)容忍度高，但穩(wěn)定性、清晰度要求高；二是秀場(chǎng)/游戲直播/體育直播/移動(dòng)直播/教育直播等為代表的互動(dòng)直播，特點(diǎn)是延時(shí)要求高；三是以視頻會(huì)議為代表的音視頻通訊業(yè)務(wù)，特點(diǎn)是延時(shí)要求極高，音頻質(zhì)量要求高。

隨著互動(dòng)直播的興起和相關(guān)的技術(shù)服務(wù)市場(chǎng)競(jìng)爭(zhēng)加劇，流媒體直播系統(tǒng)對(duì)底層基礎(chǔ)資源服務(wù)、CDN分發(fā)網(wǎng)絡(luò)、視音頻技術(shù)等都提出了全新的挑戰(zhàn)。

（2）應(yīng)用場(chǎng)景方面

我們研究流媒體，或許有很多人會(huì)擔(dān)心直播市場(chǎng)來得越快跌得越慘。其實(shí)大可不必這么想，至少有三條比較明顯的趨勢(shì)。一是不論市場(chǎng)變幻莫測(cè)，看直播的總需求量目前還在低點(diǎn)未來很長(zhǎng)一段時(shí)間仍是上行通道；二是目前的直播主要還是集中在娛樂領(lǐng)域，未來將出現(xiàn)更多如在線教育、電商直播等將直播作為一項(xiàng)工作工具的垂直領(lǐng)域，他們會(huì)有著明確的商業(yè)模式；三是隨著更多VR這樣的新技術(shù)不斷涌現(xiàn)，視頻永遠(yuǎn)會(huì)作為信息傳遞的最佳載體。所以，學(xué)點(diǎn)技術(shù)，吃不了太大的虧。至少，以下這些領(lǐng)域眼下就看得見他們對(duì)于直播的需求：

■ 在線教育

在線教育場(chǎng)景中主要是學(xué)生通過觀看點(diǎn)播、直播課程來獲取課程內(nèi)容。流媒體功能除了直播信號(hào)采集、點(diǎn)播文件上傳、轉(zhuǎn)碼、存儲(chǔ)、全網(wǎng)分發(fā)、多終端播放六大主干功能外，一般對(duì)版權(quán)保護(hù)要求非常高。另外，在線教育場(chǎng)景中，場(chǎng)景化功能需要也比較集中，如多分屏、課件制作、白板等等。

在線教育直播，目前主要以新東方這類綜合培訓(xùn)機(jī)構(gòu)主導(dǎo)，未來會(huì)有更多垂直培訓(xùn)組織如藝術(shù)培訓(xùn)、專業(yè)技能培訓(xùn)等上線直播。另外，跨國(guó)遠(yuǎn)程學(xué)習(xí)如留學(xué)、語言類也將是未來趨勢(shì)。

■ 電子商務(wù)

目前電商的商品展示依然是圖片為主，隨著天貓、聚美等上線直播，不難想象未來的電子商務(wù)產(chǎn)品呈現(xiàn)上會(huì)引入更多的視頻，尤其是互動(dòng)直播的方式。這可不是噱頭，電子商務(wù)發(fā)展到今天，在攻克了消息對(duì)稱、信任、支付、物流幾項(xiàng)大課題后，唯一還未解決的就是遠(yuǎn)程體驗(yàn)了，互動(dòng)直播無疑為遠(yuǎn)程體驗(yàn)帶來了新的曙光。

未來趨勢(shì)中，電子商務(wù)尤其要關(guān)注VR、AR、全程溯源幾方面對(duì)于流媒體技術(shù)的應(yīng)用。

■ 泛娛樂

娛樂是目前點(diǎn)播、直播應(yīng)用的紅海區(qū)域，也是將流媒體技術(shù)應(yīng)用最前沿的陣地。這里面，演藝直播、游戲直播、美女秀場(chǎng)、移動(dòng)社交直播、體育直播等不同特定場(chǎng)景對(duì)功能、技術(shù)的要求也有差異。現(xiàn)場(chǎng)大型直播需要專業(yè)編碼器等硬件設(shè)備支持，移動(dòng)端尤其需要對(duì)不同機(jī)型和平臺(tái)作推流和播放的適配，體育直播和游戲直播還會(huì)涉及跨國(guó)傳輸?shù)取?/p>

未來，泛娛樂仍將是直播增量最重要的一方面，畢竟，線下太多的娛樂都還未被搬上網(wǎng)絡(luò)呢。

■ 廣電

電視慢慢在轉(zhuǎn)變成IPTV/OTT/智能電視，形象一點(diǎn)說就是連著操作系統(tǒng)的顯示器，它本身就是流媒體的應(yīng)用。

之后的發(fā)展中，廣電系手握資源和政策紅利，不會(huì)簡(jiǎn)單的在互聯(lián)網(wǎng)點(diǎn)播直播的沖擊下束手就擒，在爭(zhēng)奪“客廳娛樂”方面，廣電依然很有希望獲得主動(dòng)權(quán)，所以未來，廣電系統(tǒng)對(duì)流媒體技術(shù)的需求還會(huì)放量增長(zhǎng)。

■ 媒體/營(yíng)銷

隨著紙媒的沒落，媒體集體往線上遷移，而視頻是其中占比較大的一塊。所以，未來所有的新聞機(jī)構(gòu)、營(yíng)銷機(jī)構(gòu)都會(huì)注重視頻的建設(shè)，由于新聞營(yíng)銷都有較強(qiáng)的時(shí)效性，所以對(duì)直播的運(yùn)用值得關(guān)注。

■ 視頻會(huì)議

即便是到今天，很多企業(yè)很多人依然沒有使用上視頻會(huì)議系統(tǒng)，原因就在于傳統(tǒng)的辦公室視頻會(huì)議系統(tǒng)安裝復(fù)雜，價(jià)格高昂，缺乏對(duì)移動(dòng)辦公的支持等。所以，未來基于互聯(lián)網(wǎng)的、更輕量級(jí)、價(jià)格便宜的視頻辦公將會(huì)產(chǎn)生大量需求。在流媒體技術(shù)方面需要關(guān)注更高效的編解碼方式、更低的延遲、更好的音頻質(zhì)量、數(shù)據(jù)更安全、對(duì)移動(dòng)辦公更兼容等方面，另外，也有在線教育那樣的大量場(chǎng)景化需求需要考慮。

■ 視頻監(jiān)控

除了我們以往熟悉的安防、交通、建筑等常規(guī)監(jiān)控外，智慧醫(yī)療、智慧家庭、智慧農(nóng)業(yè)、景區(qū)監(jiān)控等為視頻監(jiān)控帶來了更多拓展的空間。未來的發(fā)展，我們除了讓監(jiān)控成為物聯(lián)網(wǎng)的影像傳感器外，還要盡可能去讓它連上網(wǎng)，甚至互動(dòng)起來，這里面都需要流媒體技術(shù)去攻克難題。

6. 國(guó)內(nèi)外大型流媒體系統(tǒng)

我們說的大型流媒體系統(tǒng)是指包括了完整流媒體組件，支持直播、點(diǎn)播應(yīng)用，提供完善的開發(fā)者組件的流媒體平臺(tái)。這里面包括大型商用系統(tǒng)，也包括優(yōu)秀的開源系統(tǒng)。

商用系統(tǒng)中，Microsoft公司的Windows Media家族、Apple公司的Quick Time家族、Real Networks公司的RealMedia家族、Adobe公司的Flash家族都提供了一整套商用流媒體系統(tǒng)，其中涵蓋了媒體制作工具、服務(wù)器系統(tǒng)、播放器軟件、流媒體傳輸、數(shù)字版權(quán)保護(hù)等在內(nèi)的系列企業(yè)級(jí)和個(gè)人級(jí)產(chǎn)品。除了IT巨頭，還有美國(guó)Wowza Media等專注于流媒體的公司也提供完整產(chǎn)品，觀止云團(tuán)隊(duì)作為國(guó)內(nèi)專注流媒體技術(shù)研發(fā)公司，也提供廣電級(jí)編碼器、BMS流媒體服務(wù)器、多終端播放器以及流媒體周邊系統(tǒng)。

開源方面，服務(wù)端早期較為出色的項(xiàng)目有由前暴雪核心員工領(lǐng)隊(duì)發(fā)起的Red 5 Media Server，live555；目前應(yīng)用最廣泛的Nginx流媒體模塊Nginx-Rtmp，觀止云團(tuán)隊(duì)發(fā)起的國(guó)內(nèi)優(yōu)秀的專注互聯(lián)網(wǎng)視頻的SRS。其它還有不少開源項(xiàng)目，包括開源編碼工具、播放器、媒體制作工具，如大名鼎鼎的開源編碼工具ffmpeg、OBS，播放器VLC，音頻領(lǐng)域的Speex等等。

7.總結(jié)

流媒體技術(shù)的目標(biāo)是在“盡力而為”的互聯(lián)網(wǎng)上更好的傳輸視音頻媒體，其最明顯的技術(shù)進(jìn)步性在于通過流式傳輸協(xié)議實(shí)現(xiàn)了實(shí)時(shí)播放直播信號(hào)及無需等待播放點(diǎn)播文件。我們今天所面臨的流媒體技術(shù)應(yīng)用環(huán)境難度更大，需要在新挑戰(zhàn)下優(yōu)化與架構(gòu)新一代流媒體系統(tǒng)。市場(chǎng)需求高漲的同時(shí)，由于流媒體實(shí)現(xiàn)環(huán)節(jié)較多、技術(shù)門檻較高、技術(shù)人才缺乏，一般垂直領(lǐng)域不具備獨(dú)立搭建大型流媒體系統(tǒng)的能力，所以流媒體技術(shù)正在基于云架構(gòu)以云服務(wù)的形態(tài)成為第三方服務(wù)。

新環(huán)境下，我們應(yīng)該多去思考能提高效率、能帶來全新應(yīng)用場(chǎng)景的新技術(shù)。另外，技術(shù)只是工具，面臨競(jìng)爭(zhēng)，我們更應(yīng)該多去思考新的創(chuàng)意和內(nèi)容，以及新的商業(yè)模式。

總結(jié)

以上是生活随笔為你收集整理的音视频入门-流媒体原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。