Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Fehlerverschleierung von Bilddaten

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videocodierung und Videokommunikation
Mitarbeiter: Dr.-Ing. Jürgen Seiler
M.Sc. Nils Genser

Bei der Übertragung von Bildern und Videos per Mobilfunk oder über das Internet besteht die Gefahr, dass Übertragungsfehler auftreten. Diese äußern sich in den Bildern oder Videosequenzen darin, dass einzelne Bildbereiche nicht korrekt decodiert und dargestellt werden können. Es ist aber möglich, diese verloren gegangenen Bildbereiche ausgehend von korrekt empfangenen Bildbereichen zu rekonstruieren. Hierzu wurde am Lehrstuhl die Selektive Extrapolation entwickelt. Dieses Verfahren ist in der Lage, beliebige Bildinhalte zu rekonstruieren und kann sowohl auf Bilder als auch auf Videosequenzen angewendet werden.

Um dies zu erreichen, erzeugt die Selektive Extrapolation ein Modell des Signals, das im gesamten betrachteten Bereich definiert ist. Dazu wird das Modell sukzessive aus einer Überlagerung von orthogonalen Basisfunktionen aufgebaut. Vor Beginn der Modellbildung muss eine Menge von orthogonalen Basisfunktionen gewählt werden. Es hat sich gezeigt, dass die Funktionen der Diskreten Fourier-Transformation eine sehr gut geeignete Menge von Basisfunktionen darstellen. In diesem Fall wird das Verfahren als Frequenzselektive Extrapolation (FSE) bezeichnet. Prinzipiell sind aber auch andere Mengen von Basisfunktionen möglich. Die Modellbildung erfolgt dann in der Gestalt, dass in jedem Iterationsschritt das bekannte Signal auf alle Basisfunktionen projiziert wird. Ausgehend von den Projektionen wird dann die Basisfunktion zur Ergänzung des Modells ausgewählt, die die Abnahme der Fehlerenergie zwischen dem Modell und dem bekannten Signal maximiert. Diese Schritte werden so lange wiederholt, bis eine vorher festgelegte Anzahl an Iterationen erreicht wird. Nachdem die Basisfunktionen des Modells sowohl die bekannten, als auch die nicht bekannten Bereiche abdecken, erhält man mit der Erzeugung des Modells automatisch eine Fortsetzung des Signals in die unbekannten Bereiche.

Eine genaue Beschreibung der Selektiven Extrapolation kann in 2008-10 und 2005-20 nachgelesen werden


Beispiele für die Verschleierung von gestörten Bilddaten

Originalbild
Gestörtes Bild
Verschleiertes Bild
 Lena Originalbild Lena Gestört Lena Verschleiert
 Peppers Originalbild Peppers Gestört Peppers Verschleiert


Um die Leistungsfähigkeit der Selektiven Extrapolation auch einmal selbst testen zu können stellen wir hier ein MATLAB-Beispiele für die Fehlerverschleierung mittels 2D Selektiver Extrapolation zur Verfügung. Der Code ist für wissenschaftliche und private Nutzung frei verwendbar. Eine gewerbliche Nutzung des Quellcodes ist nicht gestattet.

Quellcode (frequency_selective_extrapolation.m)
Beispielbild (lena_y.tif)

Fehlerverschleierung von gestörten Videosequenzen

Bei der Verschleierung von gestörten Videodaten können für die Modellbildung zusätzlich zu den Bereichen des aktuellen Bildes, die korrekt empfangen wurden, auch Bilder die bereits vollständig übertragen wurden verwendet werden. Hierdurch liegt insgesamt ein dreidimensionales Datenvolumen vor, für das man unter Verwendung von dreidimensionalen Basisfunktionen ein Modell erzeugt. Da für die Modellbildung sowohl die korrekt empfangenen Bereiche des aktuellen Bildes, als auch von vorherigen Bildern verwendet wird, kann eine sehr hohe Qualität der verschleierten Sequenz erzielt werden. Werden für die Modellbildung Fourier-Basisfunktionen verwendet, wird das Verfahren auch als 3D Frequenzselektive Extrapolation (3D-FSE) bezeichnet. Eine ausführliche Beschreibung findet sich unter 2007-30.

Die Qualität der Fehlerverschleierung kann weiter gesteigert werden, wenn vor der Modellbildung die Bewegung in der Videosequenz kompensiert wird. Dadurch wird erreicht, dass in den einzelnen Schichten ähnliche Bildinhalte liegen und somit das Modell sicherer erzeugt werden kann. Diese Erweiterung wird als Bewegungskompensierte Frequenzselektive Extrapolation MC-FSE bezeichnet. Für eine detaillierte Beschreibung sei auf 2008-25 verwiesen.

Nachfolgend ein paar Beispielsequenzen, die die Leistungsfähigkeit der dreidimensionalen Selektiven Extrapolation belegen:

 
Sequenz "Discovery City"
  
Sequenz "Discovery Orient"
 
 
AVI
YUV
 
AVI
YUV
Original Discovery City original Discovery City original   Discovery Orient original Discovery Orient original
Gestört Discovery City gestört Discovery City gestört  Discovery Orient gestört Discovery Orient gestört
Verschleiert mit 3D-FSE Discovery City verschleiert mit 3D-FSE Discovery City verschleiert mit 3D-FSE  Discovery Orient verschleiert mit 3D-FSE Discovery Orient verschleiert mit 3D-FSE
Verschleiert mit MC-FSE Discovery City verschleiert mit MC-FSE Discovery City verschleiert mit MC-FSE  Discovery Orient verschleiert mit MC-FSE Discovery Orient verschleiert mit MC-FSE

Bildrestauration durch Selektive Extrapolation

Neben der Verschleierung von Störungen, die durch Übertragungsfehler entstanden sind, kann die Selektive Extrapolation auch zur Bildrestauration verwendet werden. Dabei werden Beschädigungen oder störende Objekte aus Bildern entfernt. Um dies zu erreichen, müssen in einem ersten Schritt manuell die zu extrapolierenden Bereiche gekennzeichnet werden. Dazu wird eine Binärmaske, in der alle zu ersetzenden Bereiche gleich Null sind benötigt. Anschließend wird das Bild in Blöcke aufgeteilt und auf all den Blöcken, die zu extrapolierende Bereiche enthalten die 2D Selektive Extrapolation durchgeführt.

Zwei Beispiele für die Restauration von Bildern durch Selektive Extrapolation:

Beach 
 Chicago


Das Programm fse_restauration, mit dem diese Bilder erstellt wurde, stellen wir für wissenschaftliche und private Nutzung zur freien Verfügung. Eine gewerbliche Nutzung des Quellcodes ist nicht gestattet. Für die Kompilierung des Programms wird openmp und die fftw3 benötigt. Zusätzlich zu dem Kommandozeilenprogramm stellen wir auch eine kleine graphische Benutzeroberfläche zur Verfügung, mit der die einzelnen Parameter einfacher eingestellt werden können. Weiterhin unterstützt die graphische Benutzeroberfläche weitere Dateiformate, da das Kommandozeilenprogramm nur ppm-Dateien unterstützt. Das Programm wurde unter OpenSUSE 11 entwickelt und getestet. Die Verwendung des Programms erfolgt auf eigene Gefahr.

Quellcode (fse_restauration.c)
Binary für OpenSUSE 11 (fse_restauration)
GUI (fse_restauration_gui.py)

Kurzanleitung zu FSE-Restauration

Das Programm FSE-Restauration benötigt zusätzlich zu dem Bild, das bearbeitet werden soll noch eine Maske, die alle Bildpunkte kennzeichnet, die extrapoliert werden sollen. Diese Maske kann mit jedem beliebigen Grafikprogramm erstellt werden. Das Bild und die Maske sehen dann z.B. folgendermaßen aus:

Beispielbild Wall Beispielmaske Wall 

 

Diese beiden Bilder werden dann dem FSE-Restauration Programm entweder über die Kommandozeile oder die Benutzerschnittstelle übergeben. Weiterhin muss man noch eine Ausgabedatei angeben. Für die Extrapolation können noch weitere Parameter angegeben werden. Dabei handelt es sich um:


Alle diese Parameter können auch über die graphische Benutzerschnittstelle fse_restauration_gui eingestellt werden.

fse_restauration_gui


Für eine genaue Diskussion der einzelnen Parameter sei auf die entsprechenden Publikationen zur Selektiven Extrapolation verwiesen. Für obiges Beispiel ergibt sich damit das nachfolgend dargestellte Bild:

Beispielbild Wall Die Parameter für dieses Bild sind:
    25000 Iterationen
    FFT-Größe 128x128
    Blockgröße 32x32 Bildpunkte
    Unterstützungsgebiet 32 Pixel breit
    Abklingfaktor gleich 0.9
    Orthogonalitätsdefizitskompensation gleich 0.8
    Bereits extrapolierter Gebiete mit 0.4 gewichtet

Veröffentlichungen

2016-45
CRIS
J. Seiler, W. Schnurrer, S. Schöll, A. Kaup
   [bib]

Optimized Processing Order for 3D Hole Filling in Video Sequences Using Frequency Selective Extrapolation
angenommen für Picture Coding Symposium (PCS), Nuremberg, Germany, Dez. 2016
2015-34
CRIS
J. Seiler, M. Jonscher, M. Schöberl, A. Kaup
   [link]   [doi]   [bib]

Resampling Images to a Regular Grid from a Non-Regular Subset of Pixel Positions Using Frequency Selective Reconstruction
IEEE Transactions on Image Processing (IEEE TIP) Vol. 24, Num. 11, Seiten: 4540-4555, Nov. 2015
2014-25
CRIS
J. Koloda, J. Seiler, A. Kaup, V. Sánchez, A.M. Peinado
   [doi]   [bib]

An error-based recursive filling ordering for image error concealment
angenommen für IEEE Int. Conf. on Image Processing (ICIP), Seiten: 2517-2521, Paris, France, Okt. 2014
2014-10
CRIS
J. Koloda, J. Seiler, A. Kaup, V. Sánchez, A.M. Peinado
   [doi]   [bib]

Frequency Selective Extrapolation with Residual Filtering for Image Error Concealment
IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Seiten: 1976-1980, Florence, Italy, Mai 2014
2013-21
CRIS
J. Seiler, M. Schöberl, A. Kaup
   [bib]

Spatio-Temporal Error Concealment in Video by Denoised Temporal Extrapolation Refinement
IEEE Int. Conf. on Image Processing (ICIP), Melbourne, Australia, Sep. 2013
2013-18
CRIS
W. Schnurrer, J. Seiler, A. Kaup
   [link]   [doi]   [bib]

Improving Block-Based Compensated Wavelet Lifting by Reconstructing Unconnected Pixels
International Symposium on Signals, Circuits and Systems (ISSCS), Seiten: 1-4, Iasi, Romania, Jul. 2013
2011-63
CRIS
J. Seiler
   [link]   [bib]

Signal Extrapolation Using Sparse Representations and its Applications in Video Communication
Verlag Dr. Hut, München, Dez. 2011
2011-43
CRIS
J. Seiler, A. Kaup
   [bib]

Optimized and Parallelized Processing Order for Improved Frequency Selective Signal Extrapolation
European Signal Processing Conf. (EUSIPCO), Seiten: 269-273, Barcelona, Spain, Aug. 2011
2011-14
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

A Fast Algorithm for Selective Signal Extrapolation with Arbitrary Basis Functions
EURASIP Journal on Advances in Signal Processing (JASP) Vol. 2011, 2011
2011-4
CRIS
J. Seiler, A. Kaup
   [link]   [doi]   [bib]

Motion Compensated Three-Dimensional Frequency Selective Extrapolation for Improved Error Concealment in Video Communication
Journal of Visual Communication and Image Representation (VCIR) Vol. 22, Seiten: 213-225, Mär. 2011
2010-56
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Complex-Valued Frequency Selective Extrapolation for Fast Image and Video Signal Extrapolation
IEEE Signal Processing Letters (IEEE SPL) Vol. 17, Num. 11, Seiten: 949 - 952, Nov. 2010
2010-25
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Content-Adaptive Motion Compensated Frequency Selective Extrapolation for Error Concealment in Video Communication
IEEE International Conference on Image Processing (ICIP 2010), Seiten: 469-472, Hong Kong, China, Sep. 2010
2009-29
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Multiple Selection Extrapolation for Spatial Error Concealment
IEEE International Workshop on Multimedia Signal Processing (MMSP), Rio de Janeiro, Brazil, Okt. 2009
2008-27
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Adaptive Joint Spatio-Temporal Error Concealment for Video Communication
IEEE International Workshop on Multimedia Signal Processing (MMSP 2008), Seiten: 229-234, Cairns, Australia, Okt. 2008
2008-25
CRIS
J. Seiler, A. Kaup
   [link]   [bib]

Motion Compensated Frequency Selective Extrapolation for Error Concealment in Video Coding
16th European Signal Processing Conference (EUSIPCO), Lausanne, Switzerland, Aug. 2008
2008-10
CRIS
J. Seiler, A. Kaup
   [doi]   [bib]

Fast Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation
IEEE International Conference on Acoustics, Speech, and Signal Processing, Seiten: 781-784, Las Vegas, Nevada, Mär. 2008
2008-3
CRIS
K. Meisinger
   [bib]

Selective Signal Extrapolation and its Application in Image and Video Communications, PhD thesis
Friedrich-Alexander-Universität Erlangen-Nürnberg, University Erlangen-Nuremberg, Germany, Jan. 2008
2007-51 A. Kaup, K. Meisinger
   [bib]

3D Signalextrapolation
DE 10 2007 002 545 A1, Jul. 2007
2007-35
CRIS
J. Seiler, K. Meisinger, A. Kaup
   [link]   [bib]

Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation
Picture Coding Symposium, Lisbon, Portugal, Nov. 2007
2007-30
CRIS
K. Meisinger, A. Kaup
   [doi]   [bib]

Spatiotemporal Selective Extrapolation for 3-D Signals and its Applications in Video Communications
IEEE Transactions on Image Processing (IEEE TIP) Vol. 16, Num. 9, Seiten: 2348-2360, Sep. 2007
2007-29
CRIS
K. Meisinger, T. Aach, A. Kaup
   [doi]   [bib]

Spatio-Temporal Defect Pixel Interpolation Using 3-D Frequency Selective Extrapolation
IEEE International Conference on Image Processing, Vol. IV, Seiten: 149-152, San Antonio, Texas, Sep. 2007
2006-36
CRIS
K. Meisinger, S. Martin, A. Kaup
   [doi]   [bib]

Spatio-Temporal Concealment in H.264/AVC Video Coding by 3-D Selective Extrapolation
8th Int. Workshop on Multimedia Signal Processing (MMSP), Seiten: 291-295, Victoria, BC, Canada, Okt. 2006
2006-25
CRIS
K. Meisinger, A. Kaup
   [doi]   [bib]

2D Frequency Selective Extrapolation for Spatial Error Concealment in H.264/AVC Video Coding
IEEE International Conference on Image Processing (ICIP), Vol. -, Seiten: 2233-2236, Atlanta, Okt. 2006
2006-24
CRIS
K. Meisinger, S. Martin, A. Kaup
   [link]   [bib]

Spatio-Temporal Selective Extrapolation for 3-D Signals Applied to Concealment in Video Communications
14th European Signal Processing Conference (EUSIPCO), Sep. 2006
2005-35
CRIS
K. Meisinger, T. Tröger, M. Zeller, A. Kaup
   [bib]

Automatische TV-Logo-Entfernung durch statistische modellbasierte Detektion und frequenzselektive Kompensation
Elektronische Medien: 11. Dortmunder Fernsehseminar, ITG-Fachbericht 188, Seiten: 211-214, Dortmund, Deutschland, Sep. 2005
2005-32
CRIS
K. Meisinger, T. Tröger, M. Zeller, A. Kaup
   [link]   [bib]

Automatic TV logo removal using statistical based logo detection and frequency selective inpainting
13th European Signal Processing Conference (EUSIPCO), Antalya, Turkey, Sep. 2005
2005-20
CRIS
A. Kaup, K. Meisinger, T. Aach
   [doi]   [bib]

Frequency Selective Signal Extrapolation with Applications to Error Concealment in Image Communication
AEÜ - International Journal of Electronics and Communication Vol. 59, Num. 3, Seiten: 147-156, 2005
2004-26
CRIS
K. Meisinger, J. Garbas, A. Kaup
   [bib]

Error Control and Concealment of JPEG2000 Coded Image Data in Error Prone Environments
Picture Coding Symposium (PCS), San Francisco, Dez. 2004
2004-13
CRIS
K. Meisinger, A. Kaup
   [doi]   [bib]

Minimizing a Weighted Error Criterion for Spatial Error Concealment of Missing Image Data
IEEE International Conference on Image Processing (ICIP), Seiten: 813-816, Singapore, Okt. 2004
2004-8
CRIS
K. Meisinger, A. Kaup
   [doi]   [bib]

Spatial Error Concealment of Corrupted Image Data using Frequency Selective Extrapolation
Intern. Conf. on Acoustics, Speech and Signal Processing, Vol. III, Seiten: 209-212, Montreal, Canada, Mai 2004
2003-22
CRIS
K. Meisinger, A. Kaup
   [bib]

Örtliche Fehlerverschleierung von gestört empfangenen Bilddaten durch frequenzselektive Extrapolation
Elektronische Medien: 10. Dortmunder Fernsehseminar, ITG-Fachbericht 179, Seiten: 189-194, Sep. 2003