多視點視頻編碼及虛擬視點生成.pdf

1、為滿足視頻場景自然和真實再現的需求，具有立體視覺功能的多視點視頻技術正越來越受到學術界和工業界的重視，并成為視頻研究的熱點之一。多視點視頻蘊涵了景物的深度信息，在自然場景的表征上更具真實感，在3D電視、自由視點電視、具有臨場感的可視會議及虛擬現實等領域具有廣闊的應用前景。多視點視頻具有巨大的數據量，存貯和傳輸十分困難，必須對其進行高效的編碼(壓縮)。虛擬視點生成技術也可以有效減少所需要傳送的視頻流：在發送端，只需要在幾個關鍵視點進行視頻

2、采集，同時也只需要傳送幾個關鍵視點的視頻流；在接收端，通過虛擬視點生成技術利用關鍵視點的視頻生成所需要視點的圖像。本文從視點間預測、快速模式選擇和虛擬視點生成三個方面對多視點視頻系統進行了研究。
　　 在多視點視頻中，除了各個視頻流內部具有很強的空間和時間相關性之外，各視點之間也具有一定的交叉相關性，如何有效地利用這些相關性是提高多視點視頻壓縮效率的關鍵。同時在多視點視頻中，由于各攝像機接收到的光線強度、增益和電平等的不同導致實

3、際獲得的多視點視頻圖像之間存在著顏色(包括亮度和色差信號)差異，從而影響多視點視頻的壓縮性能。本文首先分析了多視點視頻中視點間各種相關性的相對大小和視差預測特性，在視差預測中引入全局視差預測編碼模式，并將其集成到多模式預測編碼中，提高了壓縮效率；其次為減少編碼視差矢量和運動矢量所需的比特數，提出了改進的視差矢量和運動矢量預測方法；最后在分析不同視點圖像之間顏色差異的基礎上對其進行建模，并根據模型的簡化程度提出和實現了多種基于顏色差異補償

4、的視差預測編碼方法：全局線性顏色差異補償、全局非線性顏色差異補償、局部顏色差異補償、全局與局部自適應的顏色差異補償。
　　 多視點視頻編碼通過結合運動估計和視差估計可以獲得比較高的壓縮效率，但其存在運動估計、視差估計和宏塊模式選擇的計算量非常大的缺點。因此，針對多視點視頻編碼的快速算法對于多視點視頻技術實用化具有非常重要的意義。本文在統計分析多視點視頻編碼中宏塊模式選擇特性的基礎上，針對多視點視頻編碼結構中的三種預測類型(幀內預