Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Videoverarbeitung für Mehrkamerasysteme

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videoanalyse und Videoverarbeitung
Mitarbeiter: M.Sc. Johannes Bauer

Zwischenbildsynthese

Viele moderne TV-Anwendungsgebiete, wie beispielsweise 3D-TV oder Free-Viewpoint-TV, erfordern, dass eine Szene nicht nur mit einer einzelnen, sondern mit mehreren Kameras gleichzeitig aus unterschiedlichen Blickwinkeln aufgenommen wird. Oftmals ist es dabei nicht möglich alle vorhandenen Ansichten zum Empfänger zu übertragen. Aus diesem Grunde besteht eine wichtige Herausforderung im Bereich der Mehrkamerasignalverarbeitung darin, aus vorhandenen benachbarten Kameraansichten eine gewünschte Zwischenansicht am Empfänger zu synthetisieren. Eine Möglichkeit fehlende Zwischenansichten zu berechnen bietet das so genannte "depth-image based rendering" (DIBR). Bei diesem Verfahren werden typischerweise zwei benachbarte Referenzansichten und die dazugehörige Tiefeninformation verwendet um eine Zwischenansicht zu errechnen und damit eine virtuelle Kamera zu synthetisieren. Die Pixel der beiden Referenzansichten werden dabei mit Hilfe der Tiefeninformation und bekannten extrinsischen und intrinsischen Kameraparametern auf die Bildebene der gewünschten Zwischenansicht projiziert. Damit erhält man zwei Versionen des gewünschten Zwischenbildes. Anschließend werden die Informationen aus den beiden synthetisierten Bildern zusammengefügt. Allerdings kann für vereinzelte Bildpunkte immer der Fall auftreten, dass weder in der linken, noch in der rechten Referenzansicht eine entsprechcende Korrespondenz gefunden wird. Diese Gebiete werden im letzten Schritt der Zwischenbildsynthese mit Hilfe eines "hole-filling" Algorithmus geschlossen.
Die resultierende Qualität kann abschließend sowohl objektiv als auch subjektiv bewertet werden. Im Fall einer objektiven Qualitätsbeurteilung können bekannte Metriken wie beispielsweise das PSNR oder SSIM verwendet werden. Für einen subjektiven Qualitätseindruck steht dem Lehrstuhl ein autostereoskopisches 3D-Display zur Verfügung.

Typisches Szenario: Die Information aus zwei benachbarten Referenzansichten wird genutzt um eine gewünschte Zwischenansicht zu synthetisieren:

 (zum Vergrößern drauf klicken)

Zwischenbildsynthese auf Basis unterschiedlich aufgelöster Referenzansichten

Ein besonderer Schwerpunkt dieses Forschungsgebietes liegt auf der Zwischenbildsynthese im Falle unterschiedlich aufgelöster Referenzansichten. Dabei werden eine hoch- und eine niedrig-aufgelöste Ansicht verwendet um die Zwischenansicht zu errechnen. Allerdings kann es, beispielsweise auf Grund von Aufdeckungen, dazu kommen, dass einige Bildbereiche nur in der niedrig-aufgelösten Ansicht zu sehen sind. Das Einfügen von interpolierten und dadurch verschwommenen Bildbereichen führt zu deutlich sichtbaren Artefkaten. Hier liegt der Fokus auf unterschiedlichen Nachverarbeitungsschritten um diese Gebiete zu verfeinern und die visuellen Artefakte zu reduzieren.

Überblick über die Zwischenbildsynthese im Falle von unterschiedlich aufgelösten Referenzansichten:

(zum Vergrößern drauf klicken)

Veröffentlichungen

2017-2
CRIS
T. Richter, A. Kaup
   [bib]

Super-resolution for differently exposed mixed-resolution multi-view images adapted by a histogram matching method
IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA, USA, Mär. 2017
2015-40
CRIS
T. Richter, Habermann, Annelie, A. Kaup
   [doi]   [bib]

Super-Resolution for Mixed-Resolution Multiview Images Using a Relative Frequency Response Estimation Method
IEEE International Conference on Visual Communications and Image Processing (VCIP), Seiten: 1-4, Singapore, Dez. 2015
2015-25
CRIS
T. Richter, J. Seiler, W. Schnurrer, M. Bätz, A. Kaup
   [doi]   [bib]

Combining Single-Image and Multiview Super-Resolution for Mixed-Resolution Image plus Depth Data
European Signal Processing Conf. (EUSIPCO), Seiten: 1840-1844, Nice, France, Aug. 2015
2015-20
CRIS
T. Richter, J. Seiler, W. Schnurrer, A. Kaup
   [doi]   [bib]

Super-Resolution for Mixed-Resolution Multiview Image plus Depth Data using a Novel Two-Stage High-Frequency Extrapolation Method for Occluded Areas
IEEE Int. Conf. on Image Processing (ICIP), Seiten: 1880-1884, Québec City, Canada, Sep. 2015
2015-14
CRIS
T. Richter, J. Seiler, W. Schnurrer, A. Kaup
   [doi]   [bib]

Robust Super-Resolution for Mixed-Resolution Multiview Image plus Depth Data
IEEE Transactions on Circuits and Systems for Video Technology (IEEE TCSVT) Vol. 26, Num. 5, Seiten: 814-828, Mai 2015
2014-9
CRIS
T. Richter, M. Jonscher, W. Schnurrer, J. Seiler, A. Kaup
   [doi]   [bib]

Reconstruction of Multiview Images Taken with Non-Regular Sampling Sensors
IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Seiten: 5789 - 5793, Florence, Italy, Mai 2014
2013-5
CRIS
T. Richter, E. Wige, A. Kaup
   [bib]

BM3D-verfeinerte Zwischenbildsynthese für unterschiedlich aufgelöste Referenzansichten
15. ITG-Fachtagung für Elektronische Medien, Dortmund, Deutschland, Feb. 2013
2012-38
CRIS
T. Richter, A. Kaup
   [doi]   [bib]

Multiview Super-Resolution Using High-Frequency Synthesis in Case of Temporally Subsampled Depth Information
IEEE Int. Conf. on Visual Communication and Image Processing (VCIP), Seiten: 1-6, San Diego, USA, Nov. 2012
2012-28
CRIS
T. Richter, J. Seiler, W. Schnurrer, A. Kaup
   [doi]   [bib]

Robust Super-Resolution in a Multiview Setup Based on Refined High-Frequency Synthesis
IEEE International Workshop on Multimedia Signal Processing, Seiten: 7-12, Banff, Canada, Sep. 2012
2012-2
CRIS
T. Richter, M. Schöberl, J. Seiler, T. Tröger, A. Kaup
   [doi]   [bib]

Mixed-Resolution View Synthesis Using Non-Local Means Refined Image Merging
SPIE Electronic Imaging - Stereoscopic Displays and Applications XXIII, Vol. 8288, San Francisco, CA, USA, Jan. 2012