什么是视频预处理?
點擊上方“LiveVideoStack”關注我們
翻譯 | Alex
技術審校 | 章琦
本文來自OTTVerse，作者為Krishna Rao Vijayanagar。
預處理
Easy Tech
#006#
視頻預處理對商業編碼器來說是非常關鍵的步驟，它包括去隔行、上/下采樣、降噪等重要操作。雖然預處理并不是視頻編碼器和視頻編碼標準的組成部分，但它會顯著影響視頻壓縮效率，所以理解視頻預處理的作用至關重要。
在本篇文章中，讓我們一起來了解視頻預處理過程中的重要步驟。
? 去隔行
去隔行處理是一種常規操作：用于輸入隔行視頻格式，需要輸出逐行視頻格式時。
隔行視頻格式被開發和應用于電視廣播制式，比如NTSC和PAL，來自奇場的奇數行和來自偶場的偶數行被交替渲染，先顯示奇數行，后顯示偶數行。只需渲染得足夠快，人眼觀看到的將會是完整的圖像。
左圖為隔行圖像，右圖為逐行圖像（圖片來自IBM）
如果你得到一個隔行視頻，并被要求輸出逐行視頻，你就需要做些工作。在這種情況下，你需要將該隔行視頻中的頂場和底場交錯排列，通過使用去隔行濾波來消除失真，然后發送給編碼器。
或者，你也可以簡單地復制奇偶場中的行（也被稱為“bobbing”）。
在過去幾十年中，去隔行獲得了廣泛研究，并出現了很多優秀的產品和算法供你選擇使用。無論選擇哪種算法，都必然會遇到Combing artifacts（視頻中出現梳狀紋理，如下圖所示），所以投資好的去隔行器非常值得。
說明：早期的確如此，早期的視頻編碼器支持隔行視頻，不過時至今日，隔行視頻源已經越來越稀少，自HEVC以后的視頻編碼器沒有再支持隔行視頻，去隔行算法的重要性也不復過往。
Combing Artifact
? 圖像重采樣
在視頻編碼器中，圖像重采樣是預處理的常見步驟。比如，如果你輸入的視頻是1920x1080p@60fps，然后你想輸出640x480p@60fps的視頻，那么在將視頻發送給編碼器前，你就需要調整幀的尺寸。
圖像重采樣在OTT視頻壓縮流程中非常常見，因為碼率表中對應有幾種不同的分辨率。
將輸入視頻幀轉換為不同分辨率
那么如何調整圖像尺寸？最簡單的方法就是在調整過程中舍棄不需要的像素或者添加新的像素，但這樣做會形成令人討厭的視覺失真。
現代編碼器和視頻預處理器在圖像尺寸調整過程中會使用精心研究過的濾波器，比如bicubic、bilateral、trilateral、gaussian或者lancsoz等。
? 幀率轉換
假設你輸入的視頻分辨率為1920x2080p@60fps, 你想要一個30fps的輸出，這時你將用到轉換幀率的算法。
幀率轉換是雙向的：如果是從高幀率轉換為低幀率，你需要舍棄每個第n幀，如果是從低幀率轉換為高幀率，你就需要添加幀。
當你通過填充幀或者重復幀來提升幀率時，一定要小心避免造成視頻失真。只有這樣，你才能讓視頻看起來正常，而不是像個卡通片。實際上，幀率轉換是一個豐富且精彩的研究領域。
? ?去噪聲
編碼器通常擁有自己專有的降噪算法，這些降噪算法會在壓縮視頻之前對視頻進行處理。通常情況下，使用了高斯（gaussian）降噪濾波器會使圖像變得平滑，有時會有利于提升壓縮效率。
場景變化檢測
對于高效的視頻壓縮而言，壓縮視頻時知道視頻中場景何時變化十分重要。
如果你了解預測，你就會意識到在兩個完全不同的圖像之間預測或者尋找相似性是無用的，這就好比在一黑一白圖像中找相同之處，你將一無所獲。
因此，就需要檢測視頻中場景變化的位置——這樣你就無需再嘗試做運動估計。
注意：如果你還沒有理解這個概念，先不要著急。當你在閱讀完一系列關于預測和運動估計的文章后，自然就明白了。
? 總? ?結
顯然在視頻預處理過程中還有很多算法和功能，但我今天就講到這里。我之所以介紹視頻預處理，是想告訴你預處理的重要性以及其中的創新空間有多大。
任何讀到本篇文章的人都可以自己寫一個高級的場景變化檢測算法、降噪濾波器、或者幀率轉換器，將其貢獻給開源編解碼器社區，說不定會讓整個行業為你大吃一驚哦。
致謝
本文已獲得作者Krishna Rao Vijayanagar授權翻譯和發布，特此感謝。
原文鏈接：
https://ottverse.com/video-preprocessing-in-encoders/
延伸閱讀：
視頻編碼完全指南
Easy Tech：什么是I幀、P幀和B幀？
為什么視頻壓縮如此重要
講師招募
LiveVideoStackCon 2022 音視頻技術大會 上海站，正在面向社會公開招募講師，無論你所處的公司大小，title高低，老鳥還是菜鳥，只要你的內容對技術人有幫助，其他都是次要的。歡迎通過?speaker@livevideostack.com?提交個人資料及議題描述，我們將會在24小時內給予反饋。
喜歡我們的內容就點個“在看”吧！
總結
- 上一篇： 拥抱智能，AI视频编码技术的新探索
- 下一篇： 大话ion系列（四）