需求說明：IPC高清攝像機知識儲備

來自：http://blog.csdn.net/southcamel/article/details/8305873

整理來自：時間的詩

一 概念介紹

YUV ? ? ? ? ? : luma (Y) + chroma (UV) 格式， 一般情況下sensor支持YUV422格式，即數(shù)據(jù)格式是按Y-U-Y-V次序輸出的
RGB ? ? ? ? ?: 傳統(tǒng)的紅綠藍(lán)格式，比如RGB565，其16-bit數(shù)據(jù)格式為5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼對綠色比較敏感。
RAW RGB : sensor的每一像素對應(yīng)一個彩色濾光片，濾光片按Bayer pattern分布。將每一個像素的數(shù)據(jù)直接輸出，即RAW RGB data
JPEG ? ? ? ?: 有些sensor，特別是低分辨率的，其自帶JPEG engine，可以直接輸出壓縮后的jpg格式的數(shù)據(jù)

而RAW RGB格式的Sensor則是將沒個感光點感應(yīng)到的RGB數(shù)值直接傳送給Host，由Host來進行插值和特效處理。

Raw RGB 每個像素只有一種顏色（R、G、B中的一種）；?
RGB 每個像素都有三種顏色，每一個的值在0~255之間；?
在手機攝像頭的測試過程中，由sensor輸出的數(shù)據(jù)就是Raw data（Raw RGB），經(jīng)過彩色插值就變成RGB

二 兩個疑問

對于這幾種輸出格式，幾個疑問：?
1、 有些手機基帶芯片只能支持2M以下的YUV sensor，3M以上只能使用JPEG sensor，這里說明YUV輸出格式對基帶芯片有一定的要求， 那么到底YUV sensor對基帶芯片有怎樣的要求呢？
2、 如果直接輸出RGB，對于LCD的顯示是最方便的，那么為何大多數(shù)基帶芯片都是要求輸出為YUV格式的數(shù)據(jù)再進行處理呢？

1 YUV一個像素占2B，如果像素太高在高時鐘下基帶芯片處理不過來，JPEG數(shù)據(jù)量就要小的多，所以不是YUV對基帶芯片有要求而是基帶芯片對輸出數(shù)據(jù)速率有要求。
2 RGB565一般用在很低端的基帶芯片上，直接往屏上刷。YUV輸出亮度信號沒有任何損失，而色偏信號人眼并不是特別敏感，RGB565輸出格式是R5G3 G3B5會丟掉很多原始信息，所以YUV圖像質(zhì)量和穩(wěn)定性要比RGB565好的多
3 RAW數(shù)據(jù)每個像素就1B，數(shù)據(jù)量要少很多，一般5M以上sensor就只輸出RAW數(shù)據(jù)以保證比較快的輸出速度，后端掛一個DSP來處理輸出的數(shù)據(jù)。
--------------------------------------------------------------------------------

三?RAW和JPEG的區(qū)別?

3.1 概念說明

RAW格式文件基本上是一個沒有經(jīng)任何圖像處理的源文件， 它能原原本本地記錄相機拍攝到的信 息，沒有因為圖像處理（如銳化、增加色彩對比）和壓縮而造成的信息丟失，但需要用特別的軟件 來打開這些文件。?

另一種常用的格式便是JPEG，相機會先根據(jù)使用者的設(shè)定來做一定的圖像處理，然后經(jīng)過壓縮 （程度因相機內(nèi)設(shè)定的照片質(zhì)量而定）和保存照片。?

3.2 為何要拍攝RAW？?

RAW是一種專業(yè)攝影師常用的格式，因為它能原原本本地保存信息，讓用戶能大幅度對照片進行 后期制作，如調(diào)整白平衡、曝光程度、顏色對比等設(shè)定，也特別適合新手補救拍攝失敗的照片，而 且無論在后期制作上有什么改動，相片也能無損地回復(fù)到最初狀態(tài)，不怕因意外儲存而損失照片。

RAW還有一個好處，例如佳能DPP軟件可以修正鏡頭失光、變形等。?

3.3 JPEG格式有什么優(yōu)點？?

JPEG格式為一種非常普及的照片格式，差不多所有現(xiàn)代數(shù)碼相機都能使用這個格式，絕大部分 的計算機上也能打開JPEG文件，使用者也可以隨意設(shè)定壓縮程度來保留畫質(zhì)（最佳的JPEG畫質(zhì)跟RAW 的非常接近），是一種十分方便的格式。?

3.4 我該拍攝RAW還是JPEG？?

在討論這個問題之前，讓我們看看RAW格式有什么缺點：?

1.因為RAW文件需要保留所有細(xì)節(jié)和信息，所以文件比JPEG大很多，這樣儲存照片或把照片傳輸 到計算機的時間便更長更久，需要的儲存容量也更大；?

2.RAW文件需要使用特別的軟件來打開，一旦計算機沒有安裝軟件便沒法打開文件；?

3.承上，一旦10年后那套特定的軟件沒法安裝，之前拍攝的照片便沒有辦法打開；?

4.軟件打開RAW的時間比較長，快的需要8、9s，慢的可能要用上20s也說不定；?

5.不同的軟件有不同的方式去“演譯”RAW文件，所以一個RAW文件在Photoshop 和Nikon Capture NX看可能會有所差別；?

6.廠商賣的專用軟件價錢不低。（佳能DPP可以免費下載，尼康NX則需另購） 清楚RAW的缺點以后，

我們便可以看看哪種情況應(yīng)該選擇RAW或JPEG： 如果你需要拍攝大量的照片，應(yīng)該考慮使用JPEG，因為其容量需求比較少和可以保留后制及把 照片轉(zhuǎn)換為JPEG的時間； 如果你用作商業(yè)拍攝或喜歡后期制作，應(yīng)該使用RAW，因為后制空間較大； 如果你正進行旅行攝影，可以考慮使用RAW或者RAW+JPEG，因為旅行的地方可能沒法常去，使用 RAW讓你一旦拍攝失敗也有較大的機會補救。 后記 其實現(xiàn)在Photoshop的功能很強大，對于JPEG文件也能通過level或curve來調(diào)較曝光、白平衡、 色彩對比等，當(dāng)然如果需要做大幅度的調(diào)整還是RAW文件比較適合的。

四 攝像頭數(shù)據(jù)格式

攝像頭的數(shù)據(jù)輸出格式一般分為CCIR601、CCIR656、RAW RGB等格式，此處說的RGB格式應(yīng)該就是CCIR601或CCIR656格式。而RAW RGB格式與一般的RGB格式是有區(qū)別的。
我們知道，Sensor的感光原理是通過一個一個的感光點對光進行采樣和量化，但，在Sensor中，每一個感光點只能感光RGB中的一種顏色。所以，通常所說的30萬像素或130萬像素等，指的是有30萬或130萬個感光點。每一個感光點只能感光一種顏色。

但是，要還原一個真正圖像，需要每一個點都有RGB三種顏色，所以，對于CCIR601或656的格式，在Sensor模組的內(nèi)部會有一個ISP模塊，會將Sensor采集到的數(shù)據(jù)進行插值和特效處理，例如：如果一個感光點感應(yīng)的顏色是R，那么，ISP模塊就會根據(jù)這個感光點周圍的G、B感光點的數(shù)值來計算出此點的G、B值，那么，這一點的RGB值就被還原了，然后在編碼成601或656的格式傳送給Host。

而RAW RGB格式的Sensor則是將沒個感光點感應(yīng)到的RGB數(shù)值直接傳送給Host，由Host來進行插值和特效處理。

Raw RGB 每個像素只有一種顏色（R、G、B中的一種）；?
RGB 每個像素都有三種顏色，每一個的值在0~255之間；?
在手機攝像頭的測試過程中，由sensor輸出的數(shù)據(jù)就是Raw data（Raw RGB），經(jīng)過彩色插值就變成RGB

五 sensor輸出的數(shù)據(jù)格式

主要分兩種：YUV（比較流行），RGB，這就是sonsor的數(shù)據(jù)輸出；這其中的RGB就是Raw RGB，是sensor的bayer陣列獲取的數(shù)據(jù)（每種傳感器獲得對應(yīng)的顏色亮度）；?
但是輸出的數(shù)據(jù)不等于就是圖像的實際數(shù)據(jù)，模組測試時，就要寫一個軟件，完成數(shù)據(jù)采集（獲得Raw data）－>彩色插值（目的是獲得RGB格式，便于圖像顯示）－>圖像顯示；?
這樣就可以發(fā)現(xiàn)整個模組是否正常，有無壞點，臟點的等，檢測出不良品；（軟件的處理過程當(dāng)中，為了獲得更好的圖像質(zhì)量，還需要白平衡，gamma校正，彩色校正）?
而在手機的應(yīng)用中，手機根據(jù)相機模組的數(shù)據(jù)格式，提供一個ISP（主要用于RGB格式的），配合軟件，使照相功能得到應(yīng)用；

對于SENSOR來說,Bayer RGB和RGB Raw兩者的圖象結(jié)構(gòu)都是BG/GR的(Bayer pattern說的是COLOR FILTER的結(jié)構(gòu),分為兩種：STD Bayer pattern 與Pair pattern，其中STD Bayer pattern的結(jié)構(gòu)是BG/GR的，而Pair Pattern顧名思義是指BGBG/GRGR的結(jié)構(gòu)，即以四行為一個單位，前兩行是BG的結(jié)構(gòu)，后兩行是GR的結(jié)構(gòu)，這種結(jié)構(gòu)是美光專門為此申請了專利的，主要是在輸出TV模式（NTSC/PAL制）時用到），
由于后端應(yīng)用時，對RAW DATA圖像的 解碼是按默認(rèn)的結(jié)構(gòu)來 解碼的 ，如BG/GR，因此 Bayer RGB和RGB Raw兩者的圖象結(jié)構(gòu)必須都是BG/GR的，而如果輸出圖像結(jié)構(gòu)是BGBG/GRGR，則不可以直接顯示和解碼 的。
Bayer RGB與RGB Raw的主要區(qū)別在于兩者輸出前經(jīng)過的處理不同，Bayer RGB從ADC輸出，只經(jīng)過了LENS SHADING CORRECTION，GAMMA等模塊處理而后就直接輸出，而RGB Raw則經(jīng)過了整個ISP模塊的處理，最終是經(jīng)過YUV422的數(shù)據(jù)轉(zhuǎn)化而來的

六 數(shù)字視頻CCIR 601編碼標(biāo)準(zhǔn)

6.1 采樣頻率

為了保證信號的同步，采樣頻率必須是電視信號行頻的倍數(shù)。CCIR為NTSC、PAL和SECAM制式制定的共同的電視圖像采樣標(biāo)準(zhǔn)：
fs＝13.5MHz
這個采樣頻率正好是PAL、SECAM制行頻的864倍，NTSC制行頻的858倍，可以保證采樣時采樣時鐘與行同步信號同步。對于4：2：2的采樣格式，亮度信號用fs頻率采樣，兩個色差信號分別用
fs／2＝6.75MHz的頻率采樣。由此可推出色度分量的最小采樣率是3.375MHz。

6.2 分辨率

根據(jù)采樣頻率，可算出對于PAL和SECAM制式，每一掃描行采樣864個樣本點；對于NTSC制則是858個樣本點。由于電視信號中每一行都包括一定的同步信號和回掃信號，故有效的圖像信號樣本點并沒有那么多，CCIR 601規(guī)定對所有的制式，其每一行的有效樣本點數(shù)為720點。由于不同的制式其每幀的有效行數(shù)不同（PAL和SECAM制為576行，NTSC制為484行），CCIR定義720×484為高清晰度電視HDTV（High Definition TV）的基本標(biāo)準(zhǔn)。實際計算機顯示數(shù)字視頻時，通常采用下表的參數(shù)：

電視制式??? 分辨率???? ?幀 率
NTSC??????? 640×480??? ?30
PAL????????? ?768×576????? 25

6.3 數(shù)據(jù)量

CCIR 601規(guī)定，每個樣本點都按8位數(shù)字化，也即有256個等級。但實際上亮度信號占220級，色度信號占225級，其它位作同步、編碼等控制用。如果按fs的采樣率、4：2：2的格式采樣，則數(shù)字視頻的數(shù)據(jù)量為：
13.5(MHz)×8(bit)＋2×6.75(MHz)×8(bit) = 27Mbyte / s

同樣可以算出，如果按4：4：4的方式采樣，數(shù)字視頻的數(shù)據(jù)量為每秒40兆字節(jié)！按每秒27兆字節(jié)的數(shù)據(jù)率計算，一段10秒鐘的數(shù)字視頻要占用270兆字節(jié)的存儲空間。按此數(shù)據(jù)率，一張680兆字節(jié)容量的光盤只能記錄約25秒的數(shù)字視頻數(shù)據(jù)信息，而且即使目前高倍速的光驅(qū)，其數(shù)據(jù)傳輸率也遠(yuǎn)遠(yuǎn)達(dá)不到每秒27兆字節(jié)的傳輸要求，視頻數(shù)據(jù)將無法實時回放。這種未壓縮的數(shù)字視頻數(shù)據(jù)量對于目前的計算機和網(wǎng)絡(luò)來說無論是存儲或傳輸都是不現(xiàn)實的，因此，在多媒體中應(yīng)用數(shù)字視頻的關(guān)鍵問題是數(shù)字視頻的壓縮技術(shù)。

?七 CCIR601和CCIR656標(biāo)準(zhǔn)的區(qū)別

關(guān)于這兩種信號的區(qū)別：
ITU-R BT 601:16位數(shù)據(jù)傳輸；21芯；Y、U、V信號同時傳輸。
ITU-R BT 656:9芯，不需要同步信號；8位數(shù)據(jù)傳輸；串行視頻傳輸；傳輸速率是601的2倍；先傳Y，后傳UV。
CCIR601要通過行、場同步兩根信號線來傳遞行、場同步信息；
CCIR656不需要這兩根信號線，它只通過8位數(shù)據(jù)線實現(xiàn)“軟”同步。
CCIR656=CCIR601+HSYNC+VSYNC
656輸出的是串行數(shù)據(jù)，行場同步信號嵌入在數(shù)據(jù)流中；
601是傳輸?shù)氖遣⑿袛?shù)據(jù)，行場同步有單獨輸出;
656只是數(shù)據(jù)傳輸接口而已，可以說是作為601的一個傳輸方式。

簡單的說ITU-R BT.601是“演播室數(shù)字電視編碼參數(shù)” 標(biāo)準(zhǔn)，而ITU-R BT.656則是ITU-R BT.601附件A中的數(shù)字接口標(biāo)準(zhǔn),用于主要數(shù)字視頻設(shè)備(包括芯片)之間采用27Mhz/s并口或243Mb/s串行接口的數(shù)字傳輸接口標(biāo)準(zhǔn)。
CCIR601號建議的制定，是向著數(shù)字電視廣播系統(tǒng)參數(shù)統(tǒng)一化、標(biāo)準(zhǔn)化邁出的第一步。在該建議中，規(guī)定了625和525行系統(tǒng)電視中心演播室數(shù)字編碼的基本參數(shù)值。

601號建議單獨規(guī)定了電視演播室的編碼標(biāo)準(zhǔn)。它對彩色電視信號的編碼方式、取樣頻率、取樣結(jié)構(gòu)都作了明確的規(guī)定。
它規(guī)定彩色電視信號采用分量編碼。所謂分量編碼就是彩色全電視信號在轉(zhuǎn)換成數(shù)字形式之前，先被分離成亮度信號和色差信號，然后對它們分別進行編碼。分量信號（Y、B -- Y、R -- Y）被分別編碼后，再合成數(shù)字信號。 它規(guī)定了取樣頻率與取樣結(jié)構(gòu)。

例如：在4：2：2等級的編碼中，規(guī)定亮度信號和色差信號的取樣頻率分別為13.5MHZ和6.75MHZ，取樣結(jié)構(gòu)為正交結(jié)構(gòu)，即按行、場、幀重復(fù)，每行中的R-Y和B-Y取樣與奇次(1,3,5……)Y的取樣同位置，即取樣結(jié)構(gòu)是固定的，取樣點在電視屏幕上的相對位置不變。 它規(guī)定了編碼方式。對亮度信號和兩個色差信號進行線性PCM編碼，每個取樣點取8比特量化。同時，規(guī)定在數(shù)字編碼時，不使用A/D轉(zhuǎn)換的整個動態(tài)范圍，只給亮度信號分配220個量化級，黑電平對應(yīng)于量化級16，白電平對應(yīng)于量化級235。為每個色差信號分配224個量化級，色差信號的零電平對應(yīng)于量化級128。
綜上所述，我們知道，分量信號的編碼數(shù)據(jù)流是很高的。以4：2：2編碼標(biāo)準(zhǔn)為例，其比特流為：13.5×8+6.75×8×2=216Mb/S。若采用4：4：4編碼方式，即對復(fù)合信號直接編碼，其抽樣頻率取為13.3×8=106.4 Mb/S。
PS:我們可以認(rèn)為CCIR601即“ITU-R BT.601-5”，“ITU-R BT.656-4"即CCIR601。

656只有8位DATA+CLK，601有8位DATA+CLK+HSYNC+VSYNC，還有16位DATA+CLK+HSYNC+VSYNC。
656把HSYNC、VSYNC插到數(shù)據(jù)中，601的數(shù)據(jù)線只有數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的IPC网络高清摄像机基础知识4(Sensor信号输出YUV、RGB、RAW DATA、JPEG 4种方式区别)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。