Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Skalierbare Multi-View Videocodierung

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videocodierung und Videokommunikation
Mitarbeiter: Dr.-Ing. Jens-Uwe Garbas

Hintergrund

Unter Mehransichtenvideo versteht man die synchrone Aufnahme einer bewegten Szene mit einer Anordnung mehrerer Kameras. Der Gebrauch von Techniken zum videobasierten Rendering erlaubt es die so aufgenommenen Szenen, innerhalb gewisser Grenzen, aus jedem beliebigen Blickwinkel wiederzugeben. Dies kann für Anwendungen in der Videokommunikation genutzt werden, bei denen dem Betrachter das Gefühl gegeben wird in die dargestellte Welt einzutauchen. Beispiele für solche Anwendungen sind Fernsehsysteme, bei denen der Anwender den Betrachtungswinkel frei wählen kann oder dreidimensionales Fernsehen. Da proportional zur Anzahl der verwendeten Kameras auch die Menge an Daten steigt, die gespeichert oder übertragen werden muss, ist eine effiziente Kompression der Mehrkameravideodaten unerlässlich. Durch heterogene Übertragungs- und Endgeräteszenarios ist außerdem eine Skalierbarkeit des codierten Bitstroms äußerst wünschenswert.

Projektbeschreibung

Das Ziel des Projekts ist deshalb das Finden von Lösungen zur hocheffizienten skalierbaren Kompression von Mehrkameravideodaten. Angegangen wird das Problem durch Ausnutzen der inhärenten Skalierbarkeit der diskreten Wavelettransformation. Da Mehrkameravideodaten vier Dimensionen aufweisen, nämlich die zweidimensionalen Videoframes, eine Zeit- und eine Ansichtendimension, wird eine vierdimensionale Waveletransformation eingesetzt. Um dem perspektivischen Versatz der verschiedenen Ansichten und der Bewegung in der Szene gerecht zu werden, werden dabei Disparitäts- und Bewegungskompensation in die Wavelettransformation integriert. Dies wird innerhalb einer Liftingstruktur realisiert, die die Invertierbarkeit der Transformation auch mit den Kompensationsschritten garantiert. Die Waveletkoeffizienten werden dann mit einem eingebetteten Quantisierer quantisiert und entropiecodiert. Dabei kommt ein Verfahren zum Einsatz, das ähnlich wie die Entropiecodierung des JPEG2000 Standards arbeitet. Schließlich wird ein skalierbarer Bitstrom erzeugt, der die Skalierung der Mehrkameravideodaten hinsichtlich der Zeit, der Ansichtenachse und der örtlichen Auflösung sowie der Qualität erlaubt. Dabei ist keine Trans- oder Neucodierung der Daten notwendig. Es wird gezeigt, dass der vorgeschlagene Ansatz vergleichbar effizient wie der derzeitige Stand der Technik für nichtskalierbare Mehransichtenvideocodierung arbeitet.

Weitere Aspekte des Projekts befassen sich mit einer Vielzahl von Verbesserungen des vorgeschlagenen Codecs, wie zum Beispiel nichtlinearer Helligkeits- und Farbkorrektur, optimaler adaptiver Wavelet-Paket Transformationen, verbesserter örtlicher Skalierbarkeit durch schichtweise Codierung und der Einführung neuartiger Prädiktionsmodi zur Verbesserung der bewegungs- und disparitätskompensierten Prädiktionsschritte.

Veröffentlichungen

2011-23
CRIS
J. Garbas, B. Pesquet-Popescu, A. Kaup
   [doi]   [bib]

Methods and Tools for Wavelet-Based Scalable Multiview Video Coding
IEEE Transactions on Circuits and Systems for Video Technology (IEEE TCSVT) Vol. 21, Num. 2, Seiten: 113-126, Feb. 2011
2009-56
CRIS
J. Garbas, B. Pesquet-Popescu, A. Kaup
   [bib]

Optimized Anisotropic Spatial Transforms for Wavelet-Based Scalable Multi-View Video Coding
SPIE Visual Communications and Image Processing (VCIP), Vol. 7257, Jan. 2009
2009-33
CRIS
J. Garbas, A. Kaup
   [bib]

Analysis on Spatial Scalable Multiview Video Coding with Wavelets
IEEE International Workshop on Multimedia Signal Processing (MMSP), Rio de Janeiro, Brazil, Okt. 2009
2008-38
CRIS
J. Garbas, M. Trocan, B. Pesquet-Popescu, A. Kaup
   [bib]

Wavelet-Based Multi-View Video Coding with Joint Best Basis Wavelet Packets
IEEE International Conference on Image Processing (ICIP), Seiten: 1232-1235, San Diego, USA, Okt. 2008
2007-31
CRIS
J. Garbas, A. Kaup
   [bib]

Inter-Scale Prediction of Motion Information for a Wavelet-Based Scalable Video Coder
Picture Coding Symposium, Lisbon, Portugal, Nov. 2007
2007-19
CRIS
J. Garbas, U. Fecker, A. Kaup
   [bib]

Wavelet-Based Multi-View Video Coding with Full Scalability and Illumination Compensation
15th Annual ACM International Conference on Multimedia 2007, Seiten: 751-754, Augsburg, Germany, Sep. 2007
2007-14
CRIS
J. Garbas, A. Kaup
   [bib]

Wavelet-Based Multi-View Video Coding with Spatial Scalability
IEEE International Workshop on Multimedia Signal Processing, Seiten: 422-425, Chania, Crete, Greece, Okt. 2007
2006-33
CRIS
J. Garbas, U. Fecker, T. Tröger, A. Kaup
   [doi]   [bib]

4D Scalable Multi-View Video Coding Using Disparity Compensated View Filtering and Motion Compensated Temporal Filtering
IEEE 8th. Intern. Workshop on Multimedia Signal Processing (MMSP), Seiten: 54-58, Victoria, Canada, Okt. 2006