Camera工作原理介紹

文章目錄

• Camera工作原理介紹
• 前言
• 一、結構
• 二、工作原理
• • 1.工作原理
  • 2.讀入數據
• 攝像頭接口分類
• • 1.USB camera 與 CSI camera
  • USB的最大問題是帶寬和處理能力。
  • 參考資料：

---

前言

首先簡單區分一下攝像頭，攝像機，照相機：
照相機簡稱相機，是一種利用光學成像原理形成影像并使用底片記錄影像的設備。很多可以記錄影像設備都具備照相機的特征。醫學成像設備、天文觀測設備等等。照相機是用于攝影的光學器械。被攝景物反射出的光線通過照相鏡頭(攝景物鏡)和控制曝光量的快門聚焦后，被攝景物在暗箱內的感光材料上形成潛像，經沖洗處理(即顯影、定影)構成永久性的影像，這種技術稱為攝影術。分為一般的照相與專業的攝像
攝像機是能夠同時拍攝視頻和錄制聲音的。

---

一、結構

二、工作原理

1.工作原理

外部光線穿過 lens 后， 經過 color filter 濾波后照射到 Sensor 面上， Sensor 將從 lens 上傳導過來的光線轉換為電信號，再通過內部的 AD 轉換為數字信號。如果 Sensor 沒有集 成 DSP，則通過 DVP 的方式傳輸到 baseband，此時的數據格式是 RAW DATA。如果集成 了 DSP， RAW DATA 數據經過 AWB、 則 color matrix、 lens shading、 gamma、 sharpness、 AE 和 de-noise 處理，后輸出 YUV 或者 RGB 格式的數據。
最后會由 CPU 送到 framebuffer 中進行顯示，這樣我們就看到 camera 拍攝到的景象了。

2.讀入數據

一般來說，camera 主要是由 lens 和 sensor IC 兩部分組成，其中有的 sensor IC 集成 了 DSP，有的沒有集成，但也需要外部 DSP 處理。細分的來講，camera 設備由下邊幾部 分構成：

1） lens（鏡頭） 一般 camera 的鏡頭結構是有幾片透鏡組成，分有塑膠透鏡（Plastic)和玻璃透 鏡(Glass) ，通常鏡頭結構有：1P,2P,1G1P,1G3P,2G2P,4G 等。

2） sensor（圖像傳感器） Senor 是一種半導體芯片，有兩種類型：CCD（Charge Coupled Device）即電荷耦合器件的縮寫 和 CMOS（Complementary?Metal-Oxide?Semiconductor）互補金屬氧化物半導體。Sensor 將從 lens 上傳導過來的光線轉換為電信號， 再通過內部的 AD 轉換為數字信號。 由于 Sensor 的每個 pixel 只能感光 R 光或者 B 光或者 G 光， 因此每個像素此時存貯的是單色的， 我們稱之為 RAW DATA 數據。 要想將每個像素的 RAW DATA 數據還原成三基色，就需要 ISP 來處理。

3）ISP（圖像信號處理） 主要完成數字圖像的處理工作，把 sensor 采集到的原始數據轉換為顯示支持 的格式。

4）CAMIF（camera 控制器） 芯片上的 camera 接口電路，對設備進行控制，接收 sensor 采集的數據交給 CPU，并送入 LCD 進行顯示。

YUV 和 RGB 一樣，是色彩空間中常用的色彩模型之一，兩者可以相互轉換。YUV 中 得 Y 表示亮度，U 和 V 表示色度。與 RGB 相比，它的優點在于占用更少的空間。 YCbCr 則是在世界數字組織視頻標準研制過程中作為 ITU - R BT601 建議的一部分, 其實是 YUV 經過縮放和偏移的翻版。 其中 Y 與 YUV 中的 Y 含義一致, Cb , Cr 同樣都指色 彩, 只是在表示方法上不同而已。在 YUV 家族中, YCbCr 是在計算機系統中應用最多的成 員, 其應用領域很廣泛,JPEG、 MPEG 均采用此格式。 一般人們所講的 YUV 大多是指 YCbCr。 YCbCr 有許多取樣格式, 如 4∶4∶4 , 4∶2∶2 , 4∶1∶1 和 4∶2∶0。

攝像頭接口分類

1.USB camera 與 CSI camera

USB相機：
· 優：很容易整合。
· 優：可以做很多的離線的圖像工作（曝光控制，幀率等）。
· 優：提供輸入/中斷功能，可為您節省計算應用程序時間（例如，在新幀上中斷）。
· 缺：由于USB總線使用CPU時間，如果使用高的CPU占用，這會影響您的應用程序。
· 缺：對于使用硬件視覺管線（硬件編碼器等）不是最佳的。
· 優：可以長距離工作（最高可達USB標準）。
· 優：可以支持更大的圖像傳感器（1英寸或更高，以獲得更好的圖像質量和更少的噪音）。
CSI相機：
· 優：根據CPU和內存使用情況進行優化，以便將圖像處理并存入內存。
· 優：可以充分利用硬件的視覺管線。
· 缺：支持較短距離（通常不超過10cm）。除非您使用序列化系統（GMSL，FPD Link，COAXPress， Ambarella），但這些系統目前尚不成熟并且需要定制。
· 缺：通常與手機相機模塊的小型傳感器一樣，要不就得多花點錢去定制。通過TX1/2中的硬件去噪降低 小傳感器的額外噪音。
· 優：可執行底層訪問與控制傳感器/攝像頭。

USB的最大問題是帶寬和處理能力。

USB 3.0可以推送5Gbps，技術上足以接受60 fps/1080p或20fps/4K(3840p)未壓縮的視頻流。但是，這僅僅基于帶寬，并沒有揭示處理視頻時額外處理和內存管理瓶頸的真相。 例如，See3CAM_CU130 USB 3.0相機應該可以達到60fps 1080p，但在TK1上真測結果，只能支持18 fps/1080p壓縮格式，而未壓縮的格式只有1fps。雖然在計算性能更強的機器上性能會更好，但這是問題的根源。

相反，Jetson TX1和TX2支持6個專用的MIPI CSI-2攝像機端口，每通道(lans)帶寬可達2.5 Gb/s，雙圖像服務處理器(ISP)提供1.4 Gigapix/s處理能力,換句話說，它具有三個4k攝像機(或者六個30fps/1080p相機)帶寬。當然，帶寬并非全部，因為這些圖像需要移動和處理，但通過使用硬件視覺管道，圖像可以跳過加載到DRAM中，并通過獨立于主CPU處理視頻來減少CPU負載。根據我自己的經驗，通過利用TX2上的這些硬件功能，我能夠以接近20 fps速度運行4k視頻。這就是為什么視頻可以通過CSI攝像頭如此高效地工作 - 專用于視頻的獨立硬件，就像GPU專門用于3D圖形一樣。

如果希望獲得最佳性能（較快的FPS，較高的分辨率和較少的CPU使用情況），或者需要對攝像機進行底層控制，并且您愿意買一個不錯的攝像頭，CSI攝像頭應該是所有這些性能的優質選項。

參考資料：

參考資料：攝像頭接口分類及基礎知識
參考資料：TX2TX2–CSI vs USB camera on JetsonTX2

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的2020-11-19的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。