Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Zeitlich-Örtliche Prädiktion

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videocodierung und Videokommunikation
Mitarbeiter: Dr.-Ing. Jürgen Seiler
M.Sc. Nils Genser

Die meisten aktuell verwendeten Videocodierstandards basieren auf der Idee der hybriden Videocodierung. Ein sehr wichtiger Bestandteil von hybriden Videocodecs ist die Prädiktion. Dabei wird versucht, den gerade zu codierenden Signalbereich ausgehend von bereits komplett übertragenen Bereichen zu prädizieren. Dies können entweder bereits vollständig übertragene vorangegangene Bilder sein, oder auch die Bereiche des aktuellen Bildes, die schon wieder decodiert wurden. Da für die Prädiktion nur die Signalbereiche verwendet werden, die bereits übertragen wurden und somit auch dem Decoder schon vorliegen, kann die Prädiktion am Encoder wie am Decoder in identischer Weise durchgeführt werden. Aus diesem Grund muss anstatt des originalen Videosignals nur der Prädiktionsfehler übertragen werden. Damit hat aber die Prädiktion einen direkten Einfluss auf die Codiereffizienz. Denn, je besser die Prädiktion erfolgt, desto weniger Daten müssen für den Prädiktionsfehler übertragen werden.

Aktuelle Videocodecs führen bisher die Prädiktion entweder in zeitlicher Richtung oder in örtlicher Richtung durch. Bei der zeitlichen Prädiktion wird aus einem vorangegangenen Bild ein zum aktuell zu codierenden Bereich möglichst ähnlicher Bereich bestimmt, der dann als Prädiktor dient. Bei der örtlichen Prädiktion werden lediglich die bereits übertragenen Bildbereiche geschickt in den zu codierenden Bereich fortgesetzt. Obwohl aktuelle Videocodecs adaptiv zwischen zeitlicher und örtlicher Prädiktion umschalten können, wird keine kombinierte zeitlich-örtliche Prädiktion durchgeführt, und somit die vorhandene Information nicht optimal ausgenutzt.

Wir beschäftigen uns nun damit, sowohl zeitliche als auch örtliche Information für die Prädiktion auszunutzen und dadurch eine höhere Codiereffizienz zu erzielen. Um dies zu erreichen, führen wir eine zweistufige Prädiktion durch. Im ersten Schritt wird eine rein zeitliche Prädiktion ausgeführt. Das Ergebnis der zeitlichen Prädiktion wird anschließen örtlich verfeinert. Dazu wird ein Modell des Signals erzeugt, das zum einen zum zeitlichen prädizierten Signal passt, zum anderen aber auch den bereits decodierten Nachbargebieten. Dieses Modell enthält somit also Informationen aus zeitlicher und örtlicher Richtung und bildet einen besseren Prädiktor für das zu codierende Signal.

Das nachfolgende Blockschaltbild zeigt einen vereinfachten hybriden Videocodec, der um den örtlichen Nachverarbeitungsschritt ergänzt wurde.

 

Für die Erzeugung des Modells können verschiedene Verfahren verwendet werden. Die bisher verwendeten Verfahren basieren auf der Selektiven Extrapolation und Entrauschungs-, bzw. Deblocking-Algorithmen, und sind in der Lage zu einer deutlichen Steigerung der Codiereffizienz zu führen. Die nachfolgend abgebildete Raten-Verzerrungskurve und Tabelle zeigen das Verhalten drei dieser Verfahren im Vergleich zu reiner Bewegungskompensation (MC).


 

  Crew Discovery City Discovery Orient Foreman Vimto
Mittlere Ratenreduktion gegen MC          
MSA 7.69% 15.84% 13.41% 2.26% 14.98%
FSA 7.32% 10.38% 12.03% 3.20% 13.42%
RBA 6.20% 9.57% 8.73% 1.42% 12.61%
Mittlerer PSNR-Gewinn gegen MC          
MSA 0.39dB 1.16dB 0.61dB 0.09dB 0.74dB
FSA 0.37dB 0.74dB 0.55dB 0.13dB 0.66dB
RBA 0.31dB 0.68dB 0.39dB 0.06dB 0.62dB

 

 

Veröffentlichungen

2011-63
CRIS
J. Seiler
   [link]   [bib]

Signal Extrapolation Using Sparse Representations and its Applications in Video Communication
Verlag Dr. Hut, München, Dez. 2011
2011-14
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

A Fast Algorithm for Selective Signal Extrapolation with Arbitrary Basis Functions
EURASIP Journal on Advances in Signal Processing (JASP) Vol. 2011, 2011
2011-13
CRIS
J. Seiler, A. Kaup
   [link]   [bib]

Reusing the H.264/AVC Deblocking Filter for Efficient Spatio-Temporal Prediction in Video Coding
IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Seiten: 1049-1052, Prague, Czech Republic, Mai 2011
2010-58
CRIS
J. Seiler, T. Richter, A. Kaup
   [doi]   [bib]

Spatio-Temporal Prediction in Video Coding by Non-Local Means Refined Motion Compensation
Picture Coding Symposium, Seiten: 318-321, Nagoya, Japan, Dez. 2010
2010-56
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Complex-Valued Frequency Selective Extrapolation for Fast Image and Video Signal Extrapolation
IEEE Signal Processing Letters (IEEE SPL) Vol. 17, Num. 11, Seiten: 949 - 952, Nov. 2010
2010-3
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Multiple Selection Approximation for Improved Spatio-Temporal Prediction in Video Coding
IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Seiten: 886-889, Dallas, Texas, Mär. 2010
2009-11
CRIS
J. Seiler, H. Lakshman, A. Kaup
   [doi]   [bib]

Spatio-Temporal Prediction in Video Coding by Best Approximation
Picture Coding Symposium, Seiten: 81-84, Chicago, USA, Mai 2009
2008-26
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Spatio-temporal prediction in video coding by spatially refined motion compensation
IEEE International Conference on Image Processing (ICIP), Seiten: 2788-2791, San Diego, USA, Okt. 2008
2008-10
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Fast Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation
IEEE International Conference on Acoustics, Speech, and Signal Processing, Seiten: 781-784, Las Vegas, Nevada, Mär. 2008
2007-35
CRIS
J. Seiler, K. Meisinger, A. Kaup
   [link]   [bib]

Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation
Picture Coding Symposium, Lisbon, Portugal, Nov. 2007