上一篇文章記錄了GDI播放視頻的技術(shù)。打算接下來寫兩篇文章記錄Direct3D（簡稱D3D）播放視頻的技術(shù)。Direct3D應(yīng)該Windows下最常用的播放視頻的技術(shù)。實(shí)際上視頻播放只是Direct3D的“副業(yè)”，它主要用于3D游戲制作。當(dāng)前主流的游戲幾乎都是使用Direct3D制作的，例如《地下城與勇士》，《穿越火線》，《英雄聯(lián)盟》，《魔獸世界》，《QQ飛車》等等。使用Direct3D可以用兩種方式渲染視頻：Surface和Texture。使用Surface相對來說比使用Texture要簡單一些，但是不如使用Texture靈活。鑒于使用Surface更加容易上手，本文記錄使用Direct3D中的Surface顯示視頻的技術(shù)。下一篇文章再記錄使用Direct3D中的Texture顯示視頻的技術(shù)。

?

Direct3D簡介

下面下簡單記錄一下背景知識。摘錄修改了維基上的一部分內(nèi)容（維基上這部分?jǐn)⑹雒菜坪懿粶?zhǔn)確…）：

Direct3D（簡稱：D3D）是微軟公司在Microsoft Windows系統(tǒng)上開發(fā)的一套3D繪圖API，是DirectX的一部份，目前廣為各家顯示卡所支援。1995年2月，微軟收購了英國的Rendermorphics公司，將RealityLab 2.0技術(shù)發(fā)展成Direct3D標(biāo)準(zhǔn)，并整合到Microsoft Windows中，Direct3D在DirectX 3.0開始出現(xiàn)。后來在DirectX 8.0發(fā)表時與DirectDraw編程介面合并并改名為DirectX Graphics。Direct3D與Windows GDI是同層級組件。它可以直接調(diào)用底層顯卡的功能。與OpenGL同為電腦繪圖軟件和電腦游戲最常使用的兩套繪圖API。

抽象概念

Direct3D的抽象概念包括：Devices（設(shè)備），Swap Chains（交換鏈）和Resources（資源）。

Device（設(shè)備）用于渲染3D場景。例如單色設(shè)備就會渲染黑白圖片，而彩色設(shè)備則會渲染彩色圖片。Device目前我自己了解的有以下2類（還有其他類型，但不是很熟）：

HAL（Hardware Abstraction Layer）：支持硬件加速的設(shè)備。在所有設(shè)備中運(yùn)行速度是最快的，也是最常用的。
Reference：模擬一些硬件還不支持的新功能。換言之，就是利用軟件，在CPU對硬件渲染設(shè)備的一個模擬。

每一個Device至少要有一個Swap Chain（交換鏈）。一個Swap Chain由一個或多個Back Buffer Surfaces（后臺緩沖表面）組成。渲染在Back Buffer中完成。
此外，Device包含了一系列的Resources（資源），用于定義渲染時候的數(shù)據(jù)。每個Resources有4個屬性：

Type：描述Resource的類型。例如surface， volume， texture， cube texture， volume texture， surface texture， index buffer 或者vertex buffer。
Usage：描述Resource如何被使用。例如指定Resource是以只讀方式調(diào)用還是以可讀寫的方式調(diào)用。
Format：數(shù)據(jù)的格式。比如一個二維表面的像素格式。例如，D3DFMT_R8G8B8的Format表明了數(shù)據(jù)格式是24 bits顏色深度的RGB數(shù)據(jù)。
Pool：描述Resource如何被管理和存儲。默認(rèn)的情況下Resource會被存儲在設(shè)備的內(nèi)存（例如顯卡的顯存）中。也可以指定Resource存儲在系統(tǒng)內(nèi)存中。

渲染流水線（rendering pipeline）

Direct3D API定義了一組Vertices（頂點(diǎn)）， Textures（紋理）， Buffers（緩沖區(qū)）轉(zhuǎn)換到屏幕上的流程。這樣的流程稱為Rendering Pipeline（渲染流水線），它的各階段包括：

Input Assembler（輸入組裝）：從應(yīng)用程序里讀取vertex數(shù)據(jù)，將其裝進(jìn)流水線。
Vertex Shader（頂點(diǎn)著色器）：對每個頂點(diǎn)屬性進(jìn)行著色。每次處理一個頂點(diǎn)，比如變換、貼圖、光照等。注意這個地方可能需要自己編程。
Geometry Shader（幾何著色器）： Shader Model 4.0引進(jìn)了幾何著色器，處理點(diǎn)、線、面的幾何坐標(biāo)變換。此處我自己還不是很了解。

PS：上述處理完后的數(shù)據(jù)可以理解為以下圖片。即包含頂點(diǎn)信息，但不包含顏色信息。

Stream Output（流輸出）：將Vertex Shader和Geometry Shader處理完成的數(shù)據(jù)輸出給使用者。
Rasterizer（光柵化）: 把算完的頂點(diǎn)轉(zhuǎn)成像素，再將像素（pixels）輸出給Pixel Shader。這里也可執(zhí)行其他工作，比如像素數(shù)據(jù)的切割，插值等。

PS：光柵化的過程可以理解為下圖。即把頂點(diǎn)轉(zhuǎn)換成像素。

Pixel Shader（像素著色器）：對每個像素進(jìn)行著色。注意這個地方可能需要自己編程。
Output Merger（輸出混合）：整合各種不同的數(shù)據(jù)，輸出最后結(jié)果。

視頻顯示的基礎(chǔ)知識

在記錄Direct3D的視頻顯示技術(shù)之前，首先記錄一下視頻顯示的基礎(chǔ)知識。我自己歸納總結(jié)了以下幾點(diǎn)知識。

1. 三角形

在Direct3D中經(jīng)常會出現(xiàn)“三角形”這個概念。這是因?yàn)樵?D圖形渲染中，所有的物體都是由三角形構(gòu)成的。因?yàn)橐粋€三角形可以表示一個平面，而3D物體就是由一個或多個平面構(gòu)成的。比如下圖表示了一個非常復(fù)雜的3D地形，它們也不過是由許許多多三角形表示的。

因此我們只要指定一個或多個三角形，就可以表示任意3D物體。

2. 后臺緩沖表面，前臺表面，交換鏈，離屏表面

后臺緩沖表面和前臺表面的概念總是同時出現(xiàn)的。簡單解釋一下它們的作用。當(dāng)我們進(jìn)行復(fù)雜的繪圖操作時，畫面可能有明顯的閃爍。這是由于繪制的東西沒有同時出現(xiàn)在屏幕上而導(dǎo)致的?！扒芭_表面”+“后臺緩沖表面”的技術(shù)可以解決這個問題。前臺表面即我們看到的屏幕，后臺緩沖表面則在內(nèi)存當(dāng)中，對我們來說是不可見的。每次的所有繪圖操作不是在屏幕上直接繪制，而是在后臺緩沖表面中進(jìn)行，當(dāng)繪制完成后，需要的時候再把繪制的最終結(jié)果顯示到屏幕上。這樣就解決了上述的問題。

實(shí)際上，上述技術(shù)還涉及到一個“交換鏈”（Swap Chain）的概念。所謂的“鏈”，指的是一系列的表面組成的一個合集。這些表面中有一個是前臺表面（顯示在屏幕上），剩下的都是后臺緩沖表面。其實(shí)，簡單的交換鏈不需要很多表面，只要兩個就可以了（雖然感覺不像“鏈”）。一個后臺緩沖表面，一個前臺表面。所謂的“交換”，即是在需要呈現(xiàn)后臺緩沖表面中的內(nèi)容的時候，交換這兩個表面的“地位”。即前臺表面變成后臺緩沖表面，后臺緩沖表面變成前臺表面。如此一來，后臺緩沖表面的內(nèi)容就呈現(xiàn)在屏幕上了。原先的前臺表面，則扮演起了新的后臺緩沖表面的角色，準(zhǔn)備進(jìn)行新的繪圖操作。當(dāng)下一次需要顯示畫面的時候，這兩個表面再次交換，如此循環(huán)往復(fù)，永不停止。
此外，還有一個離屏表面。離屏表面是永遠(yuǎn)看不到的表面（所謂“離屏”），它通常被用來存放位圖，并對其中的數(shù)據(jù)做一些處理。本文介紹的例子中就用到了一個離屏表面。通常的做法是把離屏表面上的位圖復(fù)制到后臺緩沖表面，后臺緩沖表面再顯示到前臺表面。

安裝DirectX SDK

?

使用Direct3D開發(fā)之前需要安裝DirectX SDK。安裝沒有難度，一路“Next”即可。

Microsoft DirectX SDK (June 2010)下載地址：
http://www.microsoft.com/en-us/download/details.aspx?id=6812
使用VC進(jìn)行開發(fā)的時候，需要在項(xiàng)目的“屬性”對話框中配置頭文件和庫：
頭文件配置：C/C++->常規(guī)->附加包含目錄
庫文件配置：
（a）鏈接器->常規(guī)->附加庫目錄。
（b）鏈接器->輸入->附加依賴項(xiàng)（填寫一個d3d9.lib）
編程的時候，添加頭文件后即可使用：

?

[cpp]?view plaincopy

#include?<d3d9.h>??

?

D3D視頻顯示的流程

有關(guān)Direct3D的知識的介紹還有很多，在這里就不再記錄了。正如那句俗話：“Talk is cheap, show me the code.”，光說理論還是會給人一種沒有“腳踏實(shí)地”的感覺，下文將會結(jié)合代碼記錄Direct3D中使用Surface渲染視頻的技術(shù)。

使用Direct3D的Surface播放視頻一般情況下需要如下步驟：

1. 創(chuàng)建一個窗口（不屬于D3D的API）
2. 初始化

1) 創(chuàng)建一個Device?
2) 基于Device創(chuàng)建一個Surface（離屏表面）

3. 循環(huán)顯示畫面

1) 清理
2) 一幀視頻數(shù)據(jù)拷貝至Surface
3) 開始一個Scene
4) Surface數(shù)據(jù)拷貝至后臺緩沖表面
5) 結(jié)束Scene
6) 顯示（后臺緩沖表面->前臺表面）

下面結(jié)合Direct3D播放YUV/RGB的示例代碼，詳細(xì)分析一下上文的流程。

1. 創(chuàng)建一個窗口（不屬于D3D的API）

建立一個Win32的窗口程序，就可以用于Direct3D的顯示。程序的入口函數(shù)是WinMain()，調(diào)用CreateWindow()即可創(chuàng)建一個窗口。這一步是必須的，不然Direct3D繪制的內(nèi)容就沒有地方顯示了。此處不再詳述。

2. 初始化

1) 創(chuàng)建一個Device

這一步完成的時候，可以得到一個IDirect3DDevice9接口的指針。創(chuàng)建一個Device又可以分成以下幾個詳細(xì)的步驟：
(a) 通過 Direct3DCreate9()創(chuàng)建一個IDirect3D9接口。
獲取IDirect3D9接口的關(guān)鍵實(shí)現(xiàn)代碼只有一行：

[cpp]?view plaincopy

IDirect3D9?*m_pDirect3D9?=?Direct3DCreate9(?D3D_SDK_VERSION?);??

?

IDirect3D9接口是一個代表我們顯示3D圖形的物理設(shè)備的C++對象。它可以用于獲得物理設(shè)備的信息和創(chuàng)建一個IDirect3DDevice9接口。例如，可以通過它的GetAdapterDisplayMode()函數(shù)獲取當(dāng)前主顯卡輸出的分辨率，刷新頻率等參數(shù)，實(shí)現(xiàn)代碼如下。

[cpp]?view plaincopy

D3DDISPLAYMODE?d3dDisplayMode;??

lRet?=?m_pDirect3D9->GetAdapterDisplayMode(?D3DADAPTER_DEFAULT,?&d3dDisplayMode?);??

由代碼可以看出，獲取的信息存儲在D3DDISPLAYMODE結(jié)構(gòu)體中。D3DDISPLAYMODE結(jié)構(gòu)體中包含了主顯卡的分辨率等信息：

[cpp]?view plaincopy

/*?Display?Modes?*/??

typedef?struct?_D3DDISPLAYMODE??

{??

????UINT????????????Width;??

????UINT????????????Height;??

????UINT????????????RefreshRate;??

????D3DFORMAT???????Format;??

}?D3DDISPLAYMODE;??

也可以用它的GetDeviceCaps()函數(shù)搞清楚主顯卡是否支持硬件頂點(diǎn)處理，實(shí)現(xiàn)的代碼如下。

[cpp]?view plaincopy

D3DCAPS9?d3dcaps;??

lRet=m_pDirect3D9->GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&d3dcaps);??

int?hal_vp?=?0;??

if(?d3dcaps.DevCaps?&?D3DDEVCAPS_HWTRANSFORMANDLIGHT?){??

????//?yes,?save?in?‘vp’?the?fact?that?hardware?vertex??

????//?processing?is?supported.??

????hal_vp?=?D3DCREATE_HARDWARE_VERTEXPROCESSING;??

}??

由代碼可以看出，獲取的設(shè)備信息存儲在D3DCAPS9結(jié)構(gòu)體中。D3DCAPS9定義比較長包含了各種各樣的信息，不再列出來。從該結(jié)構(gòu)體的DevCaps字段可以判斷得出該設(shè)備是否支持硬件頂點(diǎn)處理。
(b) 設(shè)置D3DPRESENT_PARAMETERS結(jié)構(gòu)體，為創(chuàng)建Device做準(zhǔn)備。
接下來填充一個D3DPRESENT_PARAMETERS結(jié)構(gòu)的實(shí)例。這個結(jié)構(gòu)用于設(shè)定我們將要創(chuàng)建的IDirect3DDevice9對象的一些特性，它的定義如下。

[cpp]?view plaincopy

typedef?struct?_D3DPRESENT_PARAMETERS_??

{??

????UINT????????????????BackBufferWidth;??

????UINT????????????????BackBufferHeight;??

????D3DFORMAT???????????BackBufferFormat;??

????UINT????????????????BackBufferCount;??

??

??

????D3DMULTISAMPLE_TYPE?MultiSampleType;??

????DWORD???????????????MultiSampleQuality;??

??

??

????D3DSWAPEFFECT???????SwapEffect;??

????HWND????????????????hDeviceWindow;??

????BOOL????????????????Windowed;??

????BOOL????????????????EnableAutoDepthStencil;??

????D3DFORMAT???????????AutoDepthStencilFormat;??

????DWORD???????????????Flags;??

??

??

????/*?FullScreen_RefreshRateInHz?must?be?zero?for?Windowed?mode?*/??

????UINT????????????????FullScreen_RefreshRateInHz;??

????UINT????????????????PresentationInterval;??

}?D3DPRESENT_PARAMETERS;??

D3DPRESENT_PARAMETERS這個結(jié)構(gòu)體比較重要。詳細(xì)列一下它每個參數(shù)的含義：
BackBufferWidth：后臺緩沖表面的寬度（以像素為單位）。
BackBufferHeight：后臺緩沖表面的高度（以像素為單位）。
BackBufferFormat：后臺緩沖表面的像素格式（例如：32位像素格式為D3DFMT：A8R8G8B8）。
BackBufferCount：后臺緩沖表面的數(shù)量，通常設(shè)為“1”，即只有一個后備表面。
MultiSampleType：全屏抗鋸齒的類型，顯示視頻沒用到，不詳細(xì)分析。
MultiSampleQuality：全屏抗鋸齒的質(zhì)量等級，顯示視頻沒用到，不詳細(xì)分析。
SwapEffect：指定表面在交換鏈中是如何被交換的。支持以下取值：
*D3DSWAPEFFECT_DISCARD:后臺緩沖表面區(qū)的東西被復(fù)制到屏幕上后,后臺緩沖表面區(qū)的東西就沒有什么用了,可以丟棄了。
*D3DSWAPEFFECT_FLIP: 后臺緩沖表面拷貝到前臺表面，保持后臺緩沖表面內(nèi)容不變。當(dāng)后臺緩沖表面大于1個時使用。
*D3DSWAPEFFECT_COPY: 同上。當(dāng)后臺緩沖表面等于1個時使用。
一般使用D3DSWAPEFFECT_DISCARD。
hDeviceWindow：與設(shè)備相關(guān)的窗口句柄，你想在哪個窗口繪制就寫那個窗口的句柄
Windowed：BOOL型，設(shè)為true則為窗口模式，false則為全屏模式
EnableAutoDepthStencil：設(shè)為true，D3D將自動創(chuàng)建深度/模版緩沖。
AutoDepthStencilFormat：深度/模版緩沖的格式
Flags：一些附加特性
FullScreen_RefreshRateInHz：刷新率，設(shè)定D3DPRESENT_RATE_DEFAULT使用默認(rèn)刷新率
PresentationInterval：設(shè)置刷新的間隔，可以用以下方式：
*D3DPRENSENT_INTERVAL_DEFAULT，則說明在顯示一個渲染畫面的時候必要等候顯示器刷新完一次屏幕。例如顯示器刷新率設(shè)為80Hz的話，則一秒最多可以顯示80個渲染畫面。
*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以實(shí)時的方式來顯示渲染畫面。
下面列出使用Direct3D播放視頻的時候D3DPRESENT_PARAMETERS的一個最簡單的設(shè)置。

[cpp]?view plaincopy

//D3DPRESENT_PARAMETERS?Describes?the?presentation?parameters.??

D3DPRESENT_PARAMETERS?d3dpp;???

ZeroMemory(?&d3dpp,?sizeof(d3dpp)?);??

d3dpp.Windowed?=?TRUE;??

d3dpp.SwapEffect?=?D3DSWAPEFFECT_DISCARD;??

d3dpp.BackBufferFormat?=?D3DFMT_UNKNOWN;??

?

(c) 通過IDirect3D9的CreateDevice ()創(chuàng)建一個Device。

最后就可以調(diào)用IDirect3D9的CreateDevice()方法創(chuàng)建Device了。

CreateDevice()的函數(shù)原型如下：

?

[cpp]?view plaincopy

HRESULT?CreateDevice(??

UINT?Adapter,??

D3DDEVTYPE?DeviceType,??

HWND?hFocusWindow,??

DWORD?BehaviorFlags,??

D3DPRESENT_PARAMETERS?*pPresentationParameters,??

IDirect3DDevice9**?ppReturnedDeviceInterface??

);??

其中每個參數(shù)的含義如下所列：

?

Adapter：指定對象要表示的物理顯示設(shè)備。D3DADAPTER_DEFAULT始終是主要的顯示器適配器。

DeviceType：設(shè)備類型，包括D3DDEVTYPE_HAL(Hardware Accelerator，硬件加速)、D3DDEVTYPE_SW(SoftWare，軟件)。
hFocusWindow：同我們在前面d3dpp.hDeviceWindow的相同
BehaviorFlags：設(shè)定為D3DCREATE_SOFTWARE_VERTEXPROCESSING（軟件頂點(diǎn)處理）或者D3DCREATE_HARDWARE_VERTEXPROCESSING（硬件頂點(diǎn)處理），使用前應(yīng)該用D3DCAPS9來檢測用戶計(jì)算機(jī)是否支持硬件頂點(diǎn)處理功能。
pPresentationParameters：指定一個已經(jīng)初始化好的D3DPRESENT_PARAMETERS實(shí)例
ppReturnedDeviceInterface：返回創(chuàng)建的Device

下面列出使用Direct3D播放視頻的時候CreateDevice()的一個典型的代碼。

?

[cpp]?view plaincopy

IDirect3DDevice9?*m_pDirect3DDevice;??

D3DPRESENT_PARAMETERS?d3dpp;??

…??

m_pDirect3D9->CreateDevice(?D3DADAPTER_DEFAULT,?D3DDEVTYPE_HAL,hwnd,??

????????D3DCREATE_SOFTWARE_VERTEXPROCESSING,??

????????&d3dpp,?&m_pDirect3DDevice?);??

?

?

2) 基于Device創(chuàng)建一個Surface

通過IDirect3DDevice9接口的CreateOffscreenPlainSurface ()方法即可創(chuàng)建一個Surface（離屏表面。所謂的“離屏”指的是永遠(yuǎn)不在屏幕上顯示）。CreateOffscreenPlainSurface ()的函數(shù)原型如下所示：

?

[cpp]?view plaincopy

HRESULT?CreateOffscreenPlainSurface(UINT?width,??

?UINT?height,??

?D3DFORMAT?format,??

?D3DPOOL?pool,??

?IDirect3DSurface9?**?result,??

?HANDLE?*?unused??

?);??

其中每個參數(shù)的含義如下所列：

?

Width：離屏表面的寬。
Height：離屏表面的高。
Format：離屏表面的像素格式（例如：32位像素格式為D3DFMT_A8R8G8B8）
Pool：D3DPOOL定義了資源對應(yīng)的內(nèi)存類型，例如如下幾種類型。
D3D3POOL_DEFAULT: 默認(rèn)值，表示存在于顯卡的顯存中。
D3D3POOL_MANAGED：由Direct3D自由調(diào)度內(nèi)存的位置（顯存或者緩存中）。
D3DPOOL_SYSTEMMEM： 表示位于內(nèi)存中。
Result：返回創(chuàng)建的Surface。
Unused：還未研究。

下面給出一個使用Direct3D播放視頻的時候CreateTexture()的典型代碼。該代碼創(chuàng)建了一個像素格式為YV12的離屏表面，存儲于顯卡的顯存中。

?

[cpp]?view plaincopy

IDirect3DDevice9?*?m_pDirect3DDevice;??

IDirect3DSurface9?*m_pDirect3DSurfaceRender;??

…??

m_pDirect3DDevice->CreateOffscreenPlainSurface(??

????????lWidth,lHeight,??

????????(D3DFORMAT)MAKEFOURCC('Y',?'V',?'1',?'2'),??

????????D3DPOOL_DEFAULT,??

????????&m_pDirect3DSurfaceRender,??

????????NULL);??

?

?

創(chuàng)建Surface完成之后，初始化工作就完成了。

3. 循環(huán)顯示畫面

循環(huán)顯示畫面就是一幀一幀的讀取YUV/RGB數(shù)據(jù)，然后顯示在屏幕上的過程，下面詳述一下步驟。

1) 清理

在顯示之前，通過IDirect3DDevice9接口的Clear()函數(shù)可以清理Surface。個人感覺在播放視頻的時候用不用這個函數(shù)都可以。因?yàn)橐曨l本身就是全屏顯示的。顯示下一幀的時候自然會覆蓋前一幀的所有內(nèi)容。Clear()函數(shù)的原型如下所示：

?

[cpp]?view plaincopy

HRESULT?Clear(??

?DWORD?Count,??

?const?D3DRECT?*pRects,??

?DWORD?Flags,??

?D3DCOLOR?Color,??

?float?Z,??

?DWORD?Stencil??

);??

其中每個參數(shù)的含義如下所列：

?

Count：說明你要清空的矩形數(shù)目。如果要清空的是整個客戶區(qū)窗口，則設(shè)為0；?
?pRects：這是一個D3DRECT結(jié)構(gòu)體的一個數(shù)組，如果count中設(shè)為5，則這個數(shù)組中就得有5個元素。?
?Flags：一些標(biāo)記組合。只有三種標(biāo)記：D3DCLEAR_STENCIL , D3DCLEAR_TARGET , D3DCLEAR_ZBUFFER。?
?Color：清除目標(biāo)區(qū)域所使用的顏色。?
?float：設(shè)置Z緩沖的Z初始值。Z緩沖還沒研究過。?
?Stencil：這個在播放視頻的時候也沒有用到。

下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Clear()的典型代碼。

?

[cpp]?view plaincopy

IDirect3DDevice9?*m_pDirect3DDevice;??

m_pDirect3DDevice->Clear(0,?NULL,?D3DCLEAR_TARGET,?D3DCOLOR_XRGB(0,?0,?255),?1.0f,?0);??

上述代碼運(yùn)行完后，屏幕會變成藍(lán)色（R,G,B取值為0,0,255）。

?

2) 一幀視頻數(shù)據(jù)拷貝至Surface

操作Surface的像素數(shù)據(jù)，需要使用IDirect3DSurface9的LockRect()和UnlockRect()方法。使用LockRect()鎖定紋理上的一塊矩形區(qū)域，該矩形區(qū)域被映射成像素數(shù)組。利用函數(shù)返回的D3DLOCKED_RECT結(jié)構(gòu)體，可以對數(shù)組中的像素進(jìn)行直接存取。LockRect()函數(shù)原型如下。

?

[cpp]?view plaincopy

HRESULT?LockRect(??

??D3DLOCKED_RECT?*pLockedRect,??

??const?RECT?*pRect,??

??DWORD?Flags??

);??

每個參數(shù)的意義如下：

?

pLockedRect: 返回的一個D3DLOCKED_RECT結(jié)構(gòu)體用于描述被鎖定的區(qū)域。
pRect: 使用一個 RECT結(jié)構(gòu)體指定需要鎖定的區(qū)域。如果為NULL的話就是整個區(qū)域。
Flags: 暫時還沒有細(xì)研究。

其中D3DLOCKED_RECT結(jié)構(gòu)體定義如下所示。

?

[cpp]?view plaincopy

typedef?struct?_D3DLOCKED_RECT??

{??

????INT?????????????????Pitch;??

????void*???????????????pBits;??

}?D3DLOCKED_RECT;??

?

?

兩個參數(shù)的意義如下：
Pitch：surface中一行像素的數(shù)據(jù)量（Bytes）。注意這個的值并不一定等于實(shí)際像素數(shù)據(jù)一行像素的數(shù)據(jù)量（通常會大一些），它取值一般是4的整數(shù)倍。
pBits：指向被鎖定的數(shù)據(jù)。

使用LockRect()函數(shù)之后，就可以對其返回的D3DLOCKED_RECT中的數(shù)據(jù)進(jìn)行操作了。例如memcpy()等。操作完成后，調(diào)用UnlockRect()方法。

下面給出一個使用Direct3D的Surface播放視頻的時候IDirect3DSurface9的數(shù)據(jù)拷貝的典型代碼。該代碼拷貝了YUV420P的數(shù)據(jù)至Surface。

[cpp]?view plaincopy

IDirect3DSurface9?*m_pDirect3DSurfaceRender;??

HRESULT?lRet;??

...??

D3DLOCKED_RECT?d3d_rect;??

lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);??

if(FAILED(lRet))??

????return?-1;??

byte?*pSrc?=?buffer;??

byte?*?pDest?=?(BYTE?*)d3d_rect.pBits;??

int?stride?=?d3d_rect.Pitch;??

unsigned?long?i?=?0;??

??

//Copy?Data?(YUV420P)??

for(i?=?0;i?<?pixel_h;i?++){??

????memcpy(pDest?+?i?*?stride,pSrc?+?i?*?pixel_w,?pixel_w);??

}??

for(i?=?0;i?<?pixel_h/2;i?++){??

????memcpy(pDest?+?stride?*?pixel_h?+?i?*?stride?/?2,pSrc?+?pixel_w?*?pixel_h?+?pixel_w?*?pixel_h?/?4?+?i?*?pixel_w?/?2,?pixel_w?/?2);??

}??

for(i?=?0;i?<?pixel_h/2;i?++){??

????memcpy(pDest?+?stride?*?pixel_h?+?stride?*?pixel_h?/?4?+?i?*?stride?/?2,pSrc?+?pixel_w?*?pixel_h?+?i?*?pixel_w?/?2,?pixel_w?/?2);??

}??

??

lRet=m_pDirect3DSurfaceRender->UnlockRect();??

3) 開始一個Scene
使用IDirect3DDevice9接口的BeginScene()開始一個Scene。Direct3D中規(guī)定所有繪制方法都必須在BeginScene()和EndScene()之間完成。這個函數(shù)沒有參數(shù)。

4) Surface數(shù)據(jù)拷貝至后臺緩沖表面
使用IDirect3DDevice9接口的GetBackBuffer() 可以獲得后臺緩沖表面。然后使用StretchRect()方法可以將Surface的數(shù)據(jù)拷貝至后臺緩沖表面中，等待顯示。

GetBackBuffer()函數(shù)原型如下。

?

[cpp]?view plaincopy

HRESULT?GetBackBuffer(??

??UINT??iSwapChain,???

??UINT??BackBuffer,???

??D3DBACKBUFFER_TYPE?Type,??

??IDirect3DSurface9?**?ppBackBuffer???

);??

函數(shù)中參數(shù)含義如下：

?

iSwapChain：指定正在使用的交換鏈索引。
BackBuffer：后臺緩沖表面索引。
Type：后臺緩沖表面的類型。

ppBackBuffer：保存后臺緩沖表面的LPDIRECT3DSURFACE9對象。

?

StretchRect()可以將一個矩形區(qū)域的像素從設(shè)備內(nèi)存的一個Surface轉(zhuǎn)移到另一個Surface上。StretchRect()函數(shù)的原型如下。

?

[cpp]?view plaincopy

HRESULT?StretchRect(??

??IDirect3DSurface9?*?pSourceSurface,??

??CONST?RECT?*?pSourceRect,??

??IDirect3DSurface9?*?pDestSurface,??

??CONST?RECT?*?pDestRect,??

??D3DTEXTUREFILTERTYPE?Filter??

);??

?

?

函數(shù)中參數(shù)含義如下：
pSourceSurface：指向源Surface的指針。
pSourceRect：使用一個 RECT結(jié)構(gòu)體指定源Surface需要復(fù)制的區(qū)域。如果為NULL的話就是整個區(qū)域。
pDestSurface：指向目標(biāo)Surface的指針。
pDestRect：使用一個 RECT結(jié)構(gòu)體指定目標(biāo)Surface的區(qū)域。
Filter：設(shè)置圖像大小變換的時候的插值方法。例如：
D3DTEXF_POINT：鄰域法。質(zhì)量較差。
D3DTEXF_LINEAR：線性插值，最常用。

下面給出的代碼將離屏表面的數(shù)據(jù)傳給了后臺緩沖表面。一但傳給了后臺緩沖表面，就可以用于顯示了。

?

[cpp]?view plaincopy

IDirect3DDevice9?*m_pDirect3DDevice;??

IDirect3DSurface9?*m_pDirect3DSurfaceRender;??

IDirect3DSurface9?*?pBackBuffer;??

??

??

m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);??

m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&m_rtViewport,D3DTEXF_LINEAR);??

?

5) 結(jié)束Scene
EndScene()和BeginScene()是成對出現(xiàn)的，不再解釋。
6) 顯示

使用IDirect3DDevice9接口的Present ()顯示結(jié)果。Present ()的原型如下。

?

[cpp]?view plaincopy

HRESULT?Present(??

???const?RECT?*pSourceRect,??

???const?RECT?*pDestRect,??

???HWND?hDestWindowOverride,??

???const?RGNDATA?*pDirtyRegion??

??);??

幾個參數(shù)的意義如下：

?

pSourceRect：你想要顯示的后臺緩沖表面區(qū)的一個矩形區(qū)域。設(shè)為NULL則表示要把整個后臺緩沖表面區(qū)的內(nèi)容都顯示。?
pDestRect：表示一個顯示區(qū)域。設(shè)為NULL表示整個客戶顯示區(qū)。?
hDestWindowOverride：你可以通過它來把顯示的內(nèi)容顯示到不同的窗口去。設(shè)為NULL則表示顯示到主窗口。?
pDirtyRegion：一般設(shè)為NULL

下面給出一個使用Direct3D播放視頻的時候IDirect3DDevice9的Present ()的典型代碼。從代碼可以看出，全部設(shè)置為NULL就可以了。

?

[cpp]?view plaincopy

IDirect3DDevice9?*m_pDirect3DDevice;??

…??

m_pDirect3DDevice->Present(?NULL,?NULL,?NULL,?NULL?);??

?

?

播放視頻流程總結(jié)

文章至此，使用Direct3D顯示YUV/RGB的全部流程就記錄完畢了。最后貼一張圖總結(jié)上述流程。

代碼

完整的代碼如下所示。

[cpp]?view plaincopy

/**?

?*?最簡單的Direct3D播放視頻的例子（Direct3D播放RGB/YUV）[Surface]?

?*?Simplest?Video?Play?Direct3D?(Direct3D?play?RGB/YUV)[Surface]?

?*?

?*?雷霄驊?Lei?Xiaohua?

?*?leixiaohua1020@126.com?

?*?中國傳媒大學(xué)/數(shù)字電視技術(shù)?

?*?Communication?University?of?China?/?Digital?TV?Technology?

?*?http://blog.csdn.net/leixiaohua1020?

?*?

?*?本程序使用Direct3D播放RGB/YUV視頻像素數(shù)據(jù)。使用D3D中的Surface渲染數(shù)據(jù)。?

?*?使用Surface渲染視頻相對于另一種方法（使用Texture）來說，更加簡單，適合?

?*?新手學(xué)習(xí)。?

?*?函數(shù)調(diào)用步驟如下：?

?*?

?*?[初始化]?

?*?Direct3DCreate9()：獲得IDirect3D9?

?*?IDirect3D9->CreateDevice()：通過IDirect3D9創(chuàng)建Device（設(shè)備）。?

?*?IDirect3DDevice9->CreateOffscreenPlainSurface()：通過Device創(chuàng)建一個Surface（離屏表面）。?

?*?

?*?[循環(huán)渲染數(shù)據(jù)]?

?*?IDirect3DSurface9->LockRect()：鎖定離屏表面。?

?*?memcpy()：填充數(shù)據(jù)?

?*?IDirect3DSurface9->UnLockRect()：解鎖離屏表面。?

?*?IDirect3DDevice9->BeginScene()：開始繪制。?

?*?IDirect3DDevice9->GetBackBuffer()：獲得后備緩沖。?

?*?IDirect3DDevice9->StretchRect()：拷貝Surface數(shù)據(jù)至后備緩沖。?

?*?IDirect3DDevice9->EndScene()：結(jié)束繪制。?

?*?IDirect3DDevice9->Present()：顯示出來。?

?*?

?*?This?software?play?RGB/YUV?raw?video?data?using?Direct3D.?It?uses?Surface??

?*?in?D3D?to?render?the?pixel?data.?Compared?to?another?method?(use?Texture),??

?*?it?is?more?simple?and?suitable?for?the?beginner?of?Direct3D.?

?*?The?process?is?shown?as?follows:?

?*?

?*?[Init]?

?*?Direct3DCreate9():?Get?IDirect3D9.?

?*?IDirect3D9->CreateDevice():?Create?a?Device.?

?*?IDirect3DDevice9->CreateOffscreenPlainSurface():?Create?a?Offscreen?Surface.?

?*?

?*?[Loop?to?Render?data]?

?*?IDirect3DSurface9->LockRect():?Lock?the?Offscreen?Surface.?

?*?memcpy():?Fill?pixel?data...?

?*?IDirect3DSurface9->UnLockRect():?UnLock?the?Offscreen?Surface.?

?*?IDirect3DDevice9->BeginScene():?Begin?drawing.?

?*?IDirect3DDevice9->GetBackBuffer():?Get?BackBuffer.?

?*?IDirect3DDevice9->StretchRect():?Copy?Surface?data?to?BackBuffer.?

?*?IDirect3DDevice9->EndScene():?End?drawing.?

?*?IDirect3DDevice9->Present():?Show?on?the?screen.?

?*/??

??

#include?<stdio.h>??

#include?<tchar.h>??

#include?<d3d9.h>??

??

CRITICAL_SECTION??m_critial;??

??

IDirect3D9?*m_pDirect3D9=?NULL;??

IDirect3DDevice9?*m_pDirect3DDevice=?NULL;??

IDirect3DSurface9?*m_pDirect3DSurfaceRender=?NULL;??

??

RECT?m_rtViewport;??

??

//set?'1'?to?choose?a?type?of?file?to?play??

//Read?BGRA?data??

#define?LOAD_BGRA????0??

//Read?YUV420P?data??

#define?LOAD_YUV420P?1??

??

??

//Width,?Height??

const?int?screen_w=500,screen_h=500;??

const?int?pixel_w=320,pixel_h=180;??

FILE?*fp=NULL;??

??

//Bit?per?Pixel??

#if?LOAD_BGRA??

const?int?bpp=32;??

#elif?LOAD_YUV420P??

const?int?bpp=12;??

#endif??

??

unsigned?char?buffer[pixel_w*pixel_h*bpp/8];??

??

??

void?Cleanup()??

{??

????EnterCriticalSection(&m_critial);??

????if(m_pDirect3DSurfaceRender)??

????????m_pDirect3DSurfaceRender->Release();??

????if(m_pDirect3DDevice)??

????????m_pDirect3DDevice->Release();??

????if(m_pDirect3D9)??

????????m_pDirect3D9->Release();??

????LeaveCriticalSection(&m_critial);??

}??

??

??

int?InitD3D(?HWND?hwnd,?unsigned?long?lWidth,?unsigned?long?lHeight?)??

{??

????HRESULT?lRet;??

????InitializeCriticalSection(&m_critial);??

????Cleanup();??

??

????m_pDirect3D9?=?Direct3DCreate9(?D3D_SDK_VERSION?);??

????if(?m_pDirect3D9?==?NULL?)??

????????return?-1;??

??

????D3DPRESENT_PARAMETERS?d3dpp;???

????ZeroMemory(?&d3dpp,?sizeof(d3dpp)?);??

????d3dpp.Windowed?=?TRUE;??

????d3dpp.SwapEffect?=?D3DSWAPEFFECT_DISCARD;??

????d3dpp.BackBufferFormat?=?D3DFMT_UNKNOWN;??

??

????GetClientRect(hwnd,&m_rtViewport);??

??

????lRet=m_pDirect3D9->CreateDevice(?D3DADAPTER_DEFAULT,?D3DDEVTYPE_HAL,hwnd,??

????????D3DCREATE_SOFTWARE_VERTEXPROCESSING,??

????????&d3dpp,?&m_pDirect3DDevice?);??

????if(FAILED(lRet))??

????????return?-1;??

??

#if?LOAD_BGRA??

????lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(??

????????lWidth,lHeight,??

????????D3DFMT_X8R8G8B8,??

????????D3DPOOL_DEFAULT,??

????????&m_pDirect3DSurfaceRender,??

????????NULL);??

#elif?LOAD_YUV420P??

????lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(??

????????lWidth,lHeight,??

????????(D3DFORMAT)MAKEFOURCC('Y',?'V',?'1',?'2'),??

????????D3DPOOL_DEFAULT,??

????????&m_pDirect3DSurfaceRender,??

????????NULL);??

#endif??

??

??

????if(FAILED(lRet))??

????????return?-1;??

??

????return?0;??

}??

??

??

bool?Render()??

{??

????HRESULT?lRet;??

????//Read?Data??

????//RGB??

????if?(fread(buffer,?1,?pixel_w*pixel_h*bpp/8,?fp)?!=?pixel_w*pixel_h*bpp/8){??

????????//?Loop??

????????fseek(fp,?0,?SEEK_SET);??

????????fread(buffer,?1,?pixel_w*pixel_h*bpp/8,?fp);??

????}??

??????

????if(m_pDirect3DSurfaceRender?==?NULL)??

????????return?-1;??

????D3DLOCKED_RECT?d3d_rect;??

????lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);??

????if(FAILED(lRet))??

????????return?-1;??

??

????byte?*pSrc?=?buffer;??

????byte?*?pDest?=?(BYTE?*)d3d_rect.pBits;??

????int?stride?=?d3d_rect.Pitch;??

????unsigned?long?i?=?0;??

??

????//Copy?Data??

#if?LOAD_BGRA??

????int?pixel_w_size=pixel_w*4;??

????for(i=0;?i<?pixel_h;?i++){??

????????memcpy(?pDest,?pSrc,?pixel_w_size?);??

????????pDest?+=?stride;??

????????pSrc?+=?pixel_w_size;??

????}??

#elif?LOAD_YUV420P??

????for(i?=?0;i?<?pixel_h;i?++){??

????????memcpy(pDest?+?i?*?stride,pSrc?+?i?*?pixel_w,?pixel_w);??

????}??

????for(i?=?0;i?<?pixel_h/2;i?++){??

????????memcpy(pDest?+?stride?*?pixel_h?+?i?*?stride?/?2,pSrc?+?pixel_w?*?pixel_h?+?pixel_w?*?pixel_h?/?4?+?i?*?pixel_w?/?2,?pixel_w?/?2);??

????}??

????for(i?=?0;i?<?pixel_h/2;i?++){??

????????memcpy(pDest?+?stride?*?pixel_h?+?stride?*?pixel_h?/?4?+?i?*?stride?/?2,pSrc?+?pixel_w?*?pixel_h?+?i?*?pixel_w?/?2,?pixel_w?/?2);??

????}??

#endif??

??

????lRet=m_pDirect3DSurfaceRender->UnlockRect();??

????if(FAILED(lRet))??

????????return?-1;??

??

????if?(m_pDirect3DDevice?==?NULL)??

????????return?-1;??

??

????m_pDirect3DDevice->Clear(?0,?NULL,?D3DCLEAR_TARGET,?D3DCOLOR_XRGB(0,0,0),?1.0f,?0?);??

????m_pDirect3DDevice->BeginScene();??

????IDirect3DSurface9?*?pBackBuffer?=?NULL;??

??

????m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);??

????m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&m_rtViewport,D3DTEXF_LINEAR);??

????m_pDirect3DDevice->EndScene();??

????m_pDirect3DDevice->Present(?NULL,?NULL,?NULL,?NULL?);??

??????

??

????return?true;??

}??

??

??

LRESULT?WINAPI?MyWndProc(HWND?hwnd,?UINT?msg,?WPARAM?wparma,?LPARAM?lparam)??

{??

????switch(msg){??

????case?WM_DESTROY:??

????????Cleanup();??

????????PostQuitMessage(0);??

????????return?0;??

????}??

????return?DefWindowProc(hwnd,?msg,?wparma,?lparam);??

}??

??

int?WINAPI?WinMain(?__in?HINSTANCE?hInstance,?__in_opt?HINSTANCE?hPrevInstance,?__in?LPSTR?lpCmdLine,?__in?int?nShowCmd?)??

{??

????WNDCLASSEX?wc;??

????ZeroMemory(&wc,?sizeof(wc));??

??

????wc.cbSize?=?sizeof(wc);??

????wc.hbrBackground?=?(HBRUSH)(COLOR_WINDOW?+?1);??

????wc.lpfnWndProc?=?(WNDPROC)MyWndProc;??

????wc.lpszClassName?=?L"D3D";??

????wc.style?=?CS_HREDRAW?|?CS_VREDRAW;??

??

????RegisterClassEx(&wc);??

??

????HWND?hwnd?=?NULL;??

????hwnd?=?CreateWindow(L"D3D",?L"Simplest?Video?Play?Direct3D?(Surface)",?WS_OVERLAPPEDWINDOW,?100,?100,?500,?500,?NULL,?NULL,?hInstance,?NULL);??

????if?(hwnd==NULL){??

????????return?-1;??

????}??

??????

????if(InitD3D(?hwnd,?pixel_w,?pixel_h)==E_FAIL){??

????????return?-1;??

????}??

??

????ShowWindow(hwnd,?nShowCmd);??

????UpdateWindow(hwnd);??

??

#if?LOAD_BGRA??

????fp=fopen("../test_bgra_320x180.rgb","rb+");??

#elif?LOAD_YUV420P??

????fp=fopen("../test_yuv420p_320x180.yuv","rb+");??

#endif??

????if(fp==NULL){??

????????printf("Cannot?open?this?file.\n");??

????????return?-1;??

????}??

??

????MSG?msg;??

????ZeroMemory(&msg,?sizeof(msg));??

??

????while?(msg.message?!=?WM_QUIT){??

????????//PeekMessage,?not?GetMessage??

????????if?(PeekMessage(&msg,?NULL,?0,?0,?PM_REMOVE)){??

????????????TranslateMessage(&msg);??

????????????DispatchMessage(&msg);??

????????}??

????????else{??

????????????Sleep(40);??

????????????Render();??

????????}??

????}??

??

??

????UnregisterClass(L"D3D",?hInstance);??

????return?0;??

}??

?

代碼注意事項(xiàng)

1.可以通過設(shè)置定義在文件開始出的宏，決定讀取哪個格式的像素數(shù)據(jù)（bgra，yuv420p）。

[cpp]?view plaincopy

//set?'1'?to?choose?a?type?of?file?to?play????

//Read?BGRA?data??

#define?LOAD_BGRA????0??

//Read?YUV420P?data??

#define?LOAD_YUV420P?1??

2.窗口的寬高為screen_w，screen_h。像素數(shù)據(jù)的寬高為pixel_w,pixel_h。它們的定義如下。

?

[cpp]?view plaincopy

//Width,?Height????

const?int?screen_w=500,screen_h=500;????

const?int?pixel_w=320,pixel_h=180;????

?

?

3.其他要點(diǎn)
本程序使用的是Win32的API創(chuàng)建的窗口。但注意這個并不是MFC應(yīng)用程序的窗口。MFC代碼量太大，并不適宜用來做教程。因此使用Win32的API創(chuàng)建窗口。程序的入口函數(shù)是WinMain()，其中調(diào)用了CreateWindow()創(chuàng)建了顯示視頻的窗口。此外，程序中的消息循環(huán)使用的是PeekMessage()而不是GetMessage()。GetMessage()獲取消息后，將消息從系統(tǒng)中移除，當(dāng)系統(tǒng)無消息時，會等待下一條消息，是阻塞函數(shù)。而函數(shù)PeekMesssge()是以查看的方式從系統(tǒng)中獲取消息，可以不將消息從系統(tǒng)中移除（相當(dāng)于“偷看”消息），是非阻塞函數(shù)；當(dāng)系統(tǒng)無消息時，返回FALSE，繼續(xù)執(zhí)行后續(xù)代碼。使用PeekMessage()的好處是可以保證每隔40ms可以顯示下一幀畫面。

運(yùn)行結(jié)果

不論選擇讀取哪個格式的文件，程序的最終輸出效果都是一樣的，如下圖所示。

?

下載

代碼位于“Simplest Media Play”中

SourceForge項(xiàng)目地址：https://sourceforge.net/projects/simplestmediaplay/
CSDN下載地址：http://download.csdn.net/detail/leixiaohua1020/8054395


上述工程包含了使用各種API（Direct3D，OpenGL，GDI，DirectSound，SDL2）播放多媒體例子。其中音頻輸入為PCM采樣數(shù)據(jù)。輸出至系統(tǒng)的聲卡播放出來。視頻輸入為YUV/RGB像素數(shù)據(jù)。輸出至顯示器上的一個窗口播放出來。
通過本工程的代碼初學(xué)者可以快速學(xué)習(xí)使用這幾個API播放視頻和音頻的技術(shù)。
一共包括了如下幾個子工程：
simplest_audio_play_directsound:? 使用DirectSound播放PCM音頻采樣數(shù)據(jù)。
simplest_audio_play_sdl2:? 使用SDL2播放PCM音頻采樣數(shù)據(jù)。
simplest_video_play_direct3d:? 使用Direct3D的Surface播放RGB/YUV視頻像素數(shù)據(jù)。
simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB視頻像素數(shù)據(jù)。
simplest_video_play_gdi:? 使用GDI播放RGB/YUV視頻像素數(shù)據(jù)。
simplest_video_play_opengl:? 使用OpenGL播放RGB/YUV視頻像素數(shù)據(jù)。
simplest_video_play_opengl_texture: 使用OpenGL的Texture播放YUV視頻像素數(shù)據(jù)。
simplest_video_play_sdl2:? 使用SDL2播放RGB/YUV視頻像素數(shù)據(jù)。

總結(jié)

以上是生活随笔為你收集整理的最简单的视音频播放示例3：Direct3D播放YUV，RGB（通过Surface）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。