无电池摄像头如何实现高清晰度视频编码？
本文來自日本法政大學理工學院副教授 周金佳在LiveVideoStackCon 2019上海大會演講，介紹了一種可被廣泛應用于監控系統的超低功耗的視頻采集和編碼系統，在保證畫質的同時，可大大降低系統的功耗。
?
文 / 周金佳
整理 /?LiveVideoStack
?
?
大家好，我是來自日本法政大學理工學院的副教授周金佳，本次分享的主題是應用于監控系統中的高清晰度低功耗視頻采集和編碼算法，內容主要是關于日本學術認證機構的presto項目。
1.?監控系統實現低功耗的背景
?
?
眾所周知日本是全世界最安全的國家之一，其中完善的安防系統在其中占了很大比重，在公共場所都分布著很多攝像頭，隨著5G和Smart City在日本的討論熱度逐漸升高，大家對于監控系統未來的發展也提出了更高的要求，包括高清晰度低功耗的視頻采集和壓縮，高速度的傳輸，準確的視頻分析理解。在監控系統的本地端，更關注的是系統的功耗其中包括視頻采集的功耗以及視頻壓縮的功耗。該項目的目標是建立超低功耗的Batteryless的本地端監控系統。
?
?
上圖是目前市場上在售的監控攝像頭，雖然它們的性能很好，但功耗也相對比較大。沒有一款能夠真正做到batteryless。
?
2.?監控系統低功耗目標
2.1 視頻采集中的耗電分布
?
?
上圖分析了視頻的采集編碼和傳輸的功耗分布。功耗主要來自于image sensor和compression。Image sensor是指視頻的采集。Compression指視頻編碼的功耗。Image Sensor 中最耗電的是從模擬到數字轉換的部分， Image Sensor最終輸出像素點（pixel），然后對像素進行壓縮。視頻編碼算法的共同特點是復雜度很高，并且復雜度還會隨著壓縮率的提高而進一步提升，提升的同時也會帶來能耗的增加。以352x288的CIF視頻為例，即使在只追求low power的情況下進行圖像采集、壓縮和傳輸也需要至少200mW的能耗，而我們的目標是在支持高清及4K分辨率的同時將能耗限制在40mW以內。
?
2.2 降低能耗的原因
?
?
日本東京在兩年前部署有大約1000萬個監控攝像頭，在采取降低監控系統能耗的系統后可以節約大約一個小型發電站的功耗。
監控系統另外一個目標是希望在系統內實現快速編碼，但目前最新的算法和標準都不會考慮復雜度的問題，尤其是基于像素點的壓縮部分，編碼端的復雜度會變得特別的高。
2.3 解決方案
?
監控系統中最消耗功耗的部分是基于像素的壓縮，即視頻編碼。視頻編碼是監控系統必不可少的環節，且目前所有的編碼算法都是基于像素進行壓縮編碼，復雜度非常高。團隊推翻之前所有的方案，提出在圖像采集過程中就對圖像進行初步壓縮，image sensor的輸出不再是像素點而是已經壓縮過的數據，我們用全新的編碼算法對這些壓縮的數據進行再編碼。在圖像采集過程中就對圖像進行壓縮的好處是，減少模擬信號向數字信號轉換的功耗。另外，新的基于壓縮數據的視頻編碼算法會比傳統的像素域的視頻編碼算法簡單很多。可以大大減少視頻編碼的功耗。
3.?圖像采集提案
3.1 圖像采集方法對比
?
?
在傳統的圖像采集方法中，經過ADC（analog to digital convertor）將模擬信號轉換為數字信號，然后用視頻編碼算法對這些信號也就是像素，進行壓縮。只用幀內編碼Intra的話，能壓縮到5-10%，在加幀間預測編碼可以達到更高的壓縮率。但是視頻編碼算法都十分復雜。而且是越來越復雜。我們提出的基于壓縮感知的圖像采集方法是指，在經過ADC之前的觀測值數據是已經被壓縮過的， ADC的功耗可以降低50-70%。在2013年索尼和斯坦福大學已經驗證了這一算法的可行性。基于索尼和斯坦福大學的研究成果，我們提出了是否可以對采集到的壓縮數據進行再編碼的想法。
?
3.2 基于壓縮感知的圖像采集系統
?
?
基于壓縮感知的圖像采集系統可以理解為在攝像頭處加一個簡單的0 1/0 1 -1矩陣，1相當于兩個電壓相加，-1表示兩個電壓相減，矩陣的m決定了可壓縮量，矩陣*向量之后的數據傳到ADC后轉成數字信號，原本要做n個點的模數轉換，經過壓縮感知圖像采集系統之后只需要做m個點的模數轉換，ADC的功耗大大減少。在這個矩陣的設計上，需要用到壓縮感知的原理，比如輸入圖像x經過θ變換到某一個domain必須是sparse的，測量矩陣和θ是非相關的。目前被廣泛應用的是隨機矩陣。
?
3.3 現有的視頻壓縮算法的兼容問題
?
?
在確定了image sensor里的矩陣，得到壓縮過的數據后，我們需要一種新的編碼方式，對其進行編碼來達到進一步的壓縮。基于壓縮感知的圖像采集系統輸出的數據已經不再是像素，而是測量值成為measurement，而現有的視頻壓縮技術（H.264/AVC, H.265/HEVC、AV1……）都是基于像素的壓縮算法，無法兼容基于壓縮感知的圖像采集系統(CS-imager)。有一些能夠兼容CS-imager的測量值（measurement）壓縮算法壓縮率很低，因為無法有效利用相鄰像素之間的相關性來提高壓縮率。
?
?
我們的提案是在設計矩陣時隱藏像素域信息，然后利用這個像素域特征，實現一種全新的編碼方式來壓縮輸出的觀測值（measurement）。如圖，將圖像分為4x4/8x8/16x16的塊，以4x4為例將其展開變成16個點，設計矩陣時將某一行設定為0000 0000 0000 1111，矩陣與像素點相乘之后得到最后四個點相加，也就是prediction圖中上層的最后四個點，可以知道向量的第一個值其實代表了上面那一塊最下面那一行中點相加的值，除以4后可以得到上面那部分塊的平均值。還有一種矩陣設計是將某一行設定為0001 0001 0001 0001，這種算法是每隔四個點加一次，得到的結果是prediction圖中左側的最后四個點相加的值，除以4后可以得到左邊四點的平均值。通過刻意改變矩陣中兩行的設定來隱藏像素域的信息，之后在壓縮過程中也可以知道像素域的特征。
3.4 多方向幀內預測
?
?
參考H.264的針內預測方法，做了九個方向的預測。為了實現這個預測，我們設計了如圖所示的矩陣。做完預測之后，對殘差進行量化和熵編碼。
?
4.?基于壓縮感知的圖像采集系統的效果對比
4.1 視頻壓縮到約20%的效果
?
將視頻壓縮到約20%的情況下，圖像采集功耗為原來的50%，在只做上下兩個方向的幀內預測時，壓縮功耗約為HEVC Intra coding的10%。
4.1 不同采樣率下得到的壓縮以及重建圖像的質量比較
?
上圖中SR是sampling rate。0.25/0.5/0.75表示25%/50%/75%的感知壓縮的壓縮率。原圖的大小是每個像素點8bits（8bpp：bit-per-pixel）。如圖所示，當SR為0.75時，最終的編碼輸出為每個像素點1.21bits，PSNR為31.84dB。
?
4.2 基于compressive sensing的運動區域檢測
?
?
上圖是描述在不同SR時的壓縮效果（bpp bit-per-pixel）以及畫面的質量PSNR。團隊進一步提出了基于compressive sensing的運動區域檢測算法，在進行背景更新的同時只傳輸運動區域的信息，進一步提高壓縮率。
?
4.3 提高重建視頻質量的算法
?
?
為了提高重建視頻的質量，系統中還添加了上圖中的四種算法。以上四種算法都是使用在視頻解碼端。
?
5.?展望
本次分享的內容雖然是基于監控系統來進行討論，但其實超低功耗的視頻采集和編碼方法可以運用很多其他的領域。
?
LiveVideoStack? 招募
LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。同時，也歡迎你利用業余時間、遠程參與內容生產。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。
LiveVideoStackCon 2019北京 音視頻技術大會 初版日程現已上線，掃描圖中二維碼或點擊【閱讀原文】了解大會最新日程。
總結
以上是生活随笔為你收集整理的无电池摄像头如何实现高清晰度视频编码？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【大会】AI能解决哪些问题？
- 下一篇： 超高清视觉体验需要哪些技术栈？