Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Signalverarbeitung für digitale Kamerasysteme

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videoanalyse und Videoverarbeitung
Mitarbeiter:

Häufig startet ein System oder Algorithmus zur Bildverarbeitung mit fertig vorliegenden Bildern. Der Aufnahme und Entstehung der Bilder wurde bisher eine geringe Beachtung geschenkt. Die Aufnahme ist jedoch eine wesentliche Komponente und bereits hier können Unterschiede in der Qualität beobachtet werden. Direkt bei der Aufnahme werden einige Entscheidungen getroffen und fest in das Bild eingebrannt. Eine nachträgliche Anpassung oder Korrektur ist meist nur schwer oder häufig gar nicht möglich. Es gilt daher, die möglichen Störeinflüsse bereits bei der Aufnahme zu berücksichtigen und nach Möglichkeiten zu reduzieren.

Im Rahmen dieses Projekts soll die Bildaufnahme mit digitalen Kamerasystemen genauer untersucht werden. Ein besonderer Schwerpunkt liegt auf qualitativ hochwertigen Bewegtbildern für die Medienproduktion. Die auftretenden Störugnen sollen mit mit den Hilfsmitteln der Signalverarbeitung untersucht und Reduktionsmöglichkeiten entwickelt werden.

Forschungsergebnisse - digitaler ND Filter

Eine Einschränkung in heutigen Kameras ist der begrenzte Dynamikumfang. Es gibt eine untere Schwelle an Rauschen im Bild - Szeneninhalte mit geringerer Intensität können nicht vom Rauschen unterschieden werden und sind nicht sichtbar. Die obere Schwelle ist durch die Full Well Kapazität im Sensor gegeben - oberhalb der maximalen Anzahl an Elektronen können keine Objekte mehr unterschieden werden. Das folgende Beispiel zeigt die Aufnahme einer überbelichteten Szene. Eine Rekonstruktion von Bildinhalten ist nicht möglich.

Überbelichtete Szene
Überbelichtete Aufnahme


In der Fotografie werden verschiedene Verfahren angewendt, um vor einer solchen Aufnahme die Belichtung passend einzustellen. Wie in den folgenden Beispielen ersichtlich ist, haben diese Anpassungen unerwünschte Auswirkungen auf die Bilder.

Beispielsweise ist eine Reduktion der Belichtungszeit möglich. Leider ändert sich dadurch die Bewegungsunschärfe. Für die Aufnahme von Bewegtbildern ist die Bewegungunschärfe jedoch eine wesentliche Komponente der Bilder um einen flüssigen Bewegungseindruck zu erreichen. Eine Abfolge von scharfen Standbildern wird als ruckelnd und unsanft empfunden. Die Anpassung der Belichtungszeit ist daher keine Option.

Reduktion der Belichtungszeit
Reduktion der Belichtungszeit


Ebenso denkbar ist eine Anpassung der Blendenöffnung. Auch hier ändert sich die neben der Lichtmenge auch der Bildeindruck. Die Blendenöffnung beeinflusst die Tiefenschärfe. Tiefenschärfe ist ein wesentliches künstlerisches Element, das häufig dazu verwendet wird um die Aufmerksamkeit des Betrachters zu lenken. Eine Anpassung der Blende ist daher für hoch-qualitative Aufnahmen nicht erwünscht.

Reduktion der Blendenöffnung
Reduktion der Blendenöffnung


Im professionellen Bereich werden daher optische Neutraldichte Filter eingesetzt. Diese Filterscheiben reduzieren die Lichtmenge und ermöglichen die Beibehaltung von Blende und Belichtungszeit. Leider sind optische Filter teuer, schwer und unhandlich. Eine digitale Verstellmöglichkeit war bisher nicht verfügbar.

Das vorgeschlagene Verfahren des digitalen ND Filters ermöglicht nun eine digitale Anpassung der Belichtung. Es ermöglicht eine Reduktion der Sensor-Empfindlichkeit bei Erhalt der Blende und Belichtungszeit. Durch die Aufnahme mehrerer Einzelbilder während der ursprünglichen Belichtungszeit und deren Verrechnung können Bilder mit verschobenem Dynamikumfang aufgenommen werden. Das folgende Beispiel zeigt, dass die Aufnahme mit verringerter Empfindlichkeit und ohne Störungen möglich ist.

Anpassung über digitalen ND Filter
Anpassung über digitalen ND Filter

 

Veröffentlichungen

2014-62 J. Keinert, M. Schöberl, M. Wetzel, S. Foessel
   [link]   [bib]

Compressed data stream transmission using rate control
WO 2014/082680 A1, Jun. 2014
2014-58
CRIS
J. Keinert, M. Schöberl, M. Ziegler, F. Zilly, S. Foessel
   [link]   [bib]

High-Dynamic Range Video Cameras Based on Single Shot Non-Regular Sampling
SMPTE Motion Imaging Journal Vol. 8, Num. 123, Seiten: 49-54, Nov. 2014
2014-52
CRIS
F. Zilly, M. Ziegler, J. Keinert, M. Schöberl, S. Foessel
   [link]   [bib]

Computational Imaging for Stop-Motion Animated Video Productions
The Best of IET and IBC Vol. 6, Seiten: 14-19, Sep. 2014
2014-37 H. Sparenberg, S. Foessel, M. Martin, M. Schöberl
   [link]   [bib]

File System, Computer and Method
WO 2014 056 546 A1, Apr. 2014
2014-36
CRIS
F. Zilly, M. Ziegler, J. Keinert, M. Schöberl, S. Foessel
   [link]   [bib]

Computational Imaging for Stop-Motion Animated Video Productions
International Broadcast Convention (IBC) Conference, Amsterdam, Netherlands, Sep. 2014
2014-35
CRIS
M. Ziegler, F. Zilly, P. Schäfer, J. Keinert, M. Schöberl, S. Foessel
   [link]   [bib]

Dense lightfield reconstruction from multi aperture cameras
IEEE International Conference on Image Processing (ICIP), Okt. 2014
2014-1
CRIS
J. Keinert, M. Wetzel, M. Schöberl, P. Schäfer, F. Zilly, M. Bätz, S. Foessel, A. Kaup
   [doi]   [bib]

Cost-effective multi-camera array for high quality video with very high dynamic range
SPIE Electronic Imaging - Digital Photography X, Vol. SPIE 9023, San Francisco, CA, USA, Feb. 2014
2013-86 J. Ernst, M. Schöberl, A. Oberdörster
   [link]   [bib]

Optical Aliasing Filter, Pixel Sensor Arrangement and Digital Recording Device
US 8 593 562 B2, Nov. 2013
2013-77 M. Schöberl, J. Keinert, A. Kaup, S. Foessel
   [link]   [bib]

Camera Apparatus and Camera
PCT/EP2011/061756, Jan. 2013
2013-69
CRIS
S. Foessel, F. Zilly, M. Schöberl, P. Schäfer, M. Ziegler, J. Keinert
   [link]   [bib]

Light-field Acquisition and Processing System for Film Productions
SMPTE Annual Technical Conference, Hollywood, CA, USA, Okt. 2013
2013-68 M. Schöberl, A. Kaup
   [link]   [bib]

Bildsensor und Verfahren zum Aufnehmen eines Bildes
EP000002567539A1, Feb. 2013
2013-67 M. Schöberl, A. Kaup
   [link]   [bib]

Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
EP 2 420 062 B1, Jul. 2013
2013-66 A. Nowak, M. Schöberl
   [link]   [bib]

Creating a Digital Version of a Video From an Analog Magnetic Tape Recording
WO 2013/026908 A2, Feb. 2013
2013-65 M. Schöberl, A. Kaup
   [link]   [bib]

Detecting a Change Between Images or in a Sequence of Images
US8509549 B2, Aug. 2013
2013-63
CRIS
M. Schöberl
   [link]   [bib]

Modeling of Image Acquisition for Improving Digital Camera Systems
Dr. Hut, München, 2013
2013-62
CRIS
J. Keinert, M. Schöberl, M. Ziegler, F. Zilly, S. Foessel
   [link]   [bib]

High Dynamic Range Video Cameras Based on Single Shot Non-Regular Sampling
International Broadcast Convention Conference (IBC), Amsterdam, NL, Sep. 2013
2013-61
CRIS
J. Keinert, M. Schöberl, M. Ziegler, F. Zilly, S. Foessel
   [link]   [bib]

High dynamic range video cameras based on single shot non-regular sampling
The Best of IET and IBC Vol. 5, Seiten: 31-37, Sep. 2013
2013-53
CRIS
F. Zilly, M. Schöberl, P. Schäfer, M. Ziegler, J. Keinert, S. Foessel
   [link]   [bib]

Light-field acquisition system allowing camera viewpoint and depth of field compositing in post-production
International Broadcast Convention Conference (IBC), Amsterdam, NL, Sep. 2013
2013-52
CRIS
F. Zilly, M. Schöberl, P. Schäfer, M. Ziegler, J. Keinert, S. Foessel
   [link]   [doi]   [bib]

Lightfield Media Production System using Sparse Angular Sampling
ACM SIGGRAPH, Annaheim, Jul. 2013
2013-26 M. Schöberl, J. Keinert
   [link]   [bib]

Vorrichtung zum Encodieren einer Mehrzahl von Symbolen in einen codieren Bitstrom, Vorrichtung zum Decodieren eines codierten Bitstroms und Verfahren
DE 10 2011 085 451 B3, Apr. 2013
2013-25 A. Nowak, M. Schöberl
   [link]   [bib]

Erzeugung einer digitalen Version eines Videos aus einer analogen Magnetbandaufzeichnung
DE 10 2011 081 409 B4, Feb. 2013
2013-24 M. Schöberl, A. Kaup
   [link]   [bib]

Image Sensor and Method of Capturing an Image
US 20130063622 A1, Mär. 2013
2013-3
CRIS
A. Brückner, M. Schöberl
   [link]   [doi]   [bib]

Diffraction and photometric limits in today's miniature digital camera systems
SPIE Photonics West - MOEMS and Miniaturized Systems XII, Num. 8616, Feb. 2013
2013-1
CRIS
M. Schöberl, J. Keinert, M. Ziegler, J. Seiler, M. Niehaus, G. Schuller, A. Kaup
   [link]   [doi]   [bib]

Evaluation of a high dynamic range video camera with non-regular sensor
SPIE Electronic Imaging - Digital Photography IX, Feb. 2013
2012-68 M. Schöberl, A. Kaup
   [link]   [bib]

Detecting a Change Between Images or in a Sequence of Images
US20120082343 A1, Apr. 2012
2012-67
CRIS
S. Foessel, M. Schöberl
   [bib]

Frame rate conversion from higher to lower frame rates in motion picture
SMPTE Annual Technical Conference - Symposium on High Frame Rates for Digital Cinema, Hollywood, CA, USA, Okt. 2012
2012-54 M. Schöberl, J. Seiler, A. Kaup
   [link]   [bib]

Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
WO 2012/098117 A2, Jul. 2012
2012-52 H. Sparenberg, M. Schöberl, A. Nowak, S. Foessel
   [link]   [bib]

Video Recording System and Method for Video Recording
WO 2012/104284 A1, Aug. 2012
2012-47 H. Sparenberg, M. Schöberl, A. Nowak, S. Fössel
   [link]   [bib]

Videoaufnahmesystem und Verfahren zur Videoaufnahme
DE 10 2011 003 392 A1, Aug. 2012
2012-41 M. Schöberl, J. Seiler, A. Kaup
   [link]   [bib]

Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
DE 10 2011 002 824 A1, Jul. 2012
2012-36
CRIS
M. Schöberl, A. Brückner, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Photometric Limits for Digital Camera Systems
SPIE Journal of Electronic Imaging Vol. 21, Num. 2, Jun. 2012
2012-22
CRIS
M. Schöberl, A. Belz, J. Seiler, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

High Dynamic Range Video by Spatially Non-Regular Optical Filtering
IEEE International Conference on Image Processing (ICIP), Seiten: 2757-2760, Sep. 2012
2012-21
CRIS
M. Schöberl, A. Belz, A. Nowak, J. Seiler, A. Kaup, S. Foessel
   [link]   [doi]   [bib]

Building a High Dynamic Range Video Sensor with Spatially Non-Regular Optical Filtering
SPIE Optics + Photonics, Applications of Digital Image Processing XXXV, Aug. 2012
2012-19
CRIS
M. Schöberl, J. Seiler, A. Kaup, A. Nowak
   [link]   [bib]

Auflösungserhöhung durch nichtregelmäßige Abtastung
Fernseh- und Kinotechnik Vol. 4, Apr. 2012
2012-18 M. Schöberl, A. Kaup
   [link]   [bib]

Bildsensor und Verfahren zum Aufnehmen eines Bildes
DE 10 2010 028 746 B4, Jun. 2012
2012-1
CRIS
M. Schöberl, J. Keinert, J. Seiler, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Defect Pixel Interpolation for Lossy Compression of Camera Raw Data
SPIE Electronic Imaging - Visual Information Processing and Communication II, Vol. 8305, San Francisco, CA, USA, Jan. 2012
2011-67 M. Schöberl, A. Kaup
   [link]   [bib]

Image Sensor and Method for Recording an Image
WO 2011/138 369 A1, Nov. 2011
2011-62
CRIS
M. Schöberl, J. Keinert, A. Kaup, S. Foessel
   [link]   [bib]

Analysis of Processing Pipelines in Digital RAW Cameras
Microelectronic Systems: Circuits, Systems and Applications, Editor(en): A. Heuberger, G. Elst, R. Hanke, Seiten: 281-293, Springer, Heidelberg, Nov. 2011
2011-61 M. Schöberl, A. Kaup
   [link]   [bib]

Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
DE 10 2009 017 436 B4, Sep. 2011
2011-60 A. Oberdörster, M. Schöberl, J. Ernst
   [link]   [bib]

Sensorvorrichtung und Verfahren zum Erfassen von lokalen Intensitätsgradienten
DE 10 2010 002 599 B4, Dez. 2011
2011-59 M. Schöberl, A. Kaup
   [link]   [bib]

Bildsensor und Verfahren zum Aufnehmen eines Bildes
DE 10 2010 028 746 A1, Nov. 2011
2011-56 A. Oberdörster, M. Schöberl, J. Ernst
   [link]   [bib]

Sensorvorrichtung und Verfahren zum Erfassen von lokalen Intensitätsgradienten
DE 10 2010 002 599 A1, Sep. 2011
2011-49 J. Ernst, M. Schöberl, A. Oberdörster
   [link]   [bib]

Optical Aliasing Filter, Pixel Sensor Arrangement and Digital Recording Device
US 2011/0134294 A1, Jun. 2011
2011-45
CRIS
J. Ernst, M. Schöberl
   [link]   [bib]

Oberflächenstrukturierter Aliasfilter für digitale Kameras
Fernseh- und Kinotechnik Vol. 6, Seiten: 317-322, Jun. 2011
2011-35 M. Schöberl, A. Kaup
   [link]   [bib]

Bildaufnahmevorrichtung und Verfahren zum Erzeugen einer Aufnahme
DE 10 2009 029 868 B4, Mär. 2011
2011-34 J. Ernst, M. Schöberl, A. Oberdörster
   [link]   [bib]

Optischer Aliasfilter, Pixelensoranordnung und digitale Aufnahmevorrichtung
EP 2 306 234 A2, Apr. 2011
2011-32
CRIS
M. Schöberl, J. Seiler, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Increasing Imaging Resolution by Covering Your Sensor
IEEE International Conference on Image Processing (ICIP), Seiten: 1937-1940, Brussels, Belgium, Sep. 2011
2011-31
CRIS
M. Schöberl, W. Schnurrer, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Increasing Camera Dynamic Range Through In-Sensor Multi-Exposure White Balancing
IEEE International Conference on Image Processing (ICIP), Seiten: 3226-3229, Brussels, Belgium, Sep. 2011
2011-9
CRIS
M. Schöberl, J. Seiler, B. Kasper, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Sparsity-based Defect Pixel Compensation for Arbitrary Camera Raw Images
IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Seiten: 1257-1260, Prague, Czech Republic, Mai 2011
2011-1
CRIS
M. Schöberl, J. Ernst, W. Schnurrer, S. Foessel, A. Kaup
   [link]   [doi]   [bib]

Moving Refractive Optical Low Pass Filter for Digital Cameras
SPIE Electronic Imaging - Digital Photography VII, Vol. 7876, Seiten: 78760Z, San Francisco, CA, USA, Jan. 2011
2010-78 M. Schöberl, A. Kaup
   [link]   [bib]

Bildaufnahmevorrichtung und Verfahren zum Erzeugen einer Aufnahme
WO 2010/149 591 A1, Dez. 2010
2010-77 M. Schöberl, A. Kaup
   [link]   [bib]

Bildaufnahmevorrichtung und Verfahren zum Erzeugen einer Aufnahme
DE 10 2009 029 868 A1, Dez. 2010
2010-73 M. Schöberl, A. Kaup
   [link]   [bib]

Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
DE 10 2009 017 436 A1, Nov. 2010
2010-65 M. Schöberl, A. Kaup
   [link]   [bib]

Detection of a Change Between Images or in a Sequence of Images
WO 2010/119 060 A1, Okt. 2010
2010-45
CRIS
M. Schöberl, W. Schnurrer, S. Fößel, A. Kaup
   [link]   [bib]

Dynamikerweiterung durch Weißabgleich im Bildsensor
16. Farbworkshop der German Color Group, Ilmenau, Seiten: 108-121, Ilmenau, Okt. 2010
2010-22
CRIS
M. Schöberl, S. Fößel, A. Kaup
   [link]   [doi]   [bib]

Fixed Pattern Noise Column Drift Compensation (CDC) for Digital Moving Picture Cameras
IEEE International Conference on Image Processing (ICIP), Seiten: 573-576, Hong Kong, Sep. 2010
2010-21
CRIS
M. Schöberl, W. Schnurrer, A. Oberdörster, S. Fößel, A. Kaup
   [link]   [doi]   [bib]

Dimensioning of Optical Birefringent Anti-Alias Filters for Digital Cameras
IEEE International Conference on Image Processing (ICIP), Seiten: 4305-4308, Hong Kong, Sep. 2010
2010-15
CRIS
M. Schöberl, V. Bruns, S. Fößel, H. Bloss, A. Kaup
   [link]   [doi]   [bib]

Change Detection in JPEG 2000 Compressed Video
Electronics Letters Vol. 46, Num. 6, Seiten: 409-410, Mär. 2010
2010-1
CRIS
M. Schöberl, A. Oberdörster, S. Fößel, H. Bloss, A. Kaup
   [link]   [doi]   [bib]

Digital Neutral Density Filter for Moving Picture Cameras
SPIE Electronic Imaging - Computational Imaging VIII, Vol. 7533, Seiten: 75330L, San Jose, CA, USA, Jan. 2010
2009-30
CRIS
M. Schöberl, S. Fößel, H. Bloss, A. Kaup
   [link]   [doi]   [bib]

Modeling of Image Shutters and Motion Blur in Analog and Digital Camera Systems
IEEE International Conference on Image Processing (ICIP), Seiten: 3457-3460, Cairo, Egypt, Nov. 2009
2009-20
CRIS
M. Schöberl, C. Senel, S. Fößel, H. Bloss, A. Kaup
   [bib]

Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras
17th European Signal Processing Conference (EUSIPCO), Seiten: 268-272, Glasgow, Scotland, Aug. 2009