Lehrstuhl für
Multimediakommunikation und Signalverarbeitung
Prof. Dr.-Ing. André Kaup

Energieeffiziente Videocodierung

Arbeitsgebiet: Videosignalverarbeitung und -übertragung
Schwerpunkt: Videocodierung und Videokommunikation
Mitarbeiter: Dr.-Ing. Christian Herglotz

Dieses Forschungsgebiet befasst sich mit Methoden der energieeffizienten Videocodierung. Ziel ist es, Algorithmen so zu optimieren, dass zur Verarbeitung der Videodaten möglichst wenig Energie eingesetzt wird. Mobile Geräte wie Smartphones oder Kameras verbrauchen insbesondere bei der Videoen- und decodierung enorm viel Energie, sodass durch effiziente Algorithmen die verfügbare Batteriekapazität besser ausgenutzt werden kann. Folgende Ansätze werden verfolgt:

Decoderseitige Ansätze: Um einen Einblick darüber zu bekommen, auf welche Weise ein Decoder während der Decodierung Energie verbraucht, wird ein Modell erstellt, um diese Energie zu schätzen. Dieses Modell kann verschiedene interessante Informationen liefern:

Bereits veröffentlicht ist ein Modell, mit dem die Decodierenergie für P- und B-frames geschätzt werden kann (s. 2014-29). Der aktuelle Stand der Forschung berücksichtigt zusätzlich In-loop Filter und hat gezeigt, dass das Modell für verschiedene Decodiersysteme (bestehend aus Hardware und Software) verwendet werden kann. Eine Veröffentlichung hierzu ist bereits eingereicht.

Um zu veranschaulichen, welche Informationen das Modell liefert, gibt es einen Online-Demonstrator, der für verschiedene HEVC-codierte Videos die notwendige Decodierenergie analysiert und veranschaulicht: 

Decoding Energy Estimation Tool

Zusätzlich kann der Source-Code (basierend auf HM-11.0 mit zusätzlichem Matlab-Skript) unter folgendem Link heruntergeladen werden:

Download HEVC Decoding Energy Estimator

Diese Version kann sowohl für Linux als auch für Windows kompiliert und ausgeführt werden. Die Sourcen stehen unter der GNU-GPL-Lizenz zur freien Verfügung. Das Tool ist um ca. ein Drittel weniger komplex als ein Standarddecoder.

 

Das Modell besteht aus einer Anzahl sogenannter Bit Stream Features, wobei jedes die folgenden zwei Eigenschaften aufweist:

Ein Beispiel ist die Transformation der Residuen, die stets dann ausgeführt wird, wenn ein sogenanntes coded block flag gesetzt ist. Dann werden DCT-Koeffizienten übertragen und transformiert, wobei die Transformation unabhängig von den Werten stets eine ähnlich hohe Energie benötigt.

Ein anderer Ansatz wird in Veröffentlichung 2014-16 verfolgt: Hier wird die Energie geschätzt, indem sie mit der Anzahl an Prozessorinstruktionen verknüpft wird, die ein gegebener Prozess benötigt.

Eine Software, um anhand dieses Modells energiesparende Bitströme zu erstellen, kann hier heruntergeladen werden.

Encoderseitige Ansätze: Aktuelle Encoder verwenden einen aufwendigen Suchalgorithmus um die bestmögliche Codiereffizienz zu erreichen. Diese Suche kann umgangen werden, wenn vor der Codierung Informationen über die Szene vorhanden sind. Z.B. kann in generierten Szenen aus Computerspielen aus dem Renderer ein Bewegungsvektor exrahiert werden, der direkt zur Codierung verwendet wird. Eine aufwendige Suche über viele verschiedene Vektoren entfällt. Erste Messungen zeigen, dass durch diese Methode bei leicht geringerer Kodiereffizienz bis zu 50% der Encodierkomplexität eingespart werden können.

Dieses Forschungsgebiet ist Teil des Graduiertenkollegs „Heterogene Bildsysteme” und wird von der Deutschen Forschungsgemeinschaft (DFG) gefördert.

Veröffentlichungen

2016-49
CRIS
C. Herglotz, Y. Wen, B. Dai, M. Kränzler, A. Kaup
   [bib]

A Bit Stream Feature Based Model for Video Decoding Energy Estimation
Picture Coding Symposium (PCS), Nuremberg, Germany, Dez. 2016
2016-48
CRIS
C. Herglotz, R. Rosales, M. Glass, J. Teich, A. Kaup
   [bib]

Multi-Objective Design Space Exploration for the Optimization of the HEVC Mode Decision Process
Picture Coding Symposium (PCS), Nuremberg, Germany, Dez. 2016
2016-40 C. Herglotz, D. Springer, M. Reichenbach, B. Stabernack, A. Kaup
   [doi]   [bib]

Modeling the Energy Consumption of the HEVC Decoding Process
IEEE Transactions on Circuits and Systems for Video Technology (IEEE TCSVT) Seiten: to appear, 2016
2016-21
CRIS
C. Herglotz, A. Kaup
   [bib]

Joint Optimization of Rate, Distortion, and Decoding Energy for HEVC Intraframe Coding
IEEE Int. Conf. on Image Processing (ICIP), Seiten: 544 - 548, Phoenix, Arizona, USA, Sep. 2016
2016-6
CRIS
R. Rosales, C. Herglotz, M. Glaß, J. Teich, A. Kaup
   [bib]

Analysis and Exploitation of CTU-Level Parallelism in the HEVC Mode Decision Process Using Actor-based Modeling
Architecture of Computing Systems (ARCS), Seiten: 263-276, Nürnberg, Germany, Apr. 2016
2015-26
CRIS
C. Herglotz, A. Kaup
   [bib]

Estimating The HEVC Decoding Energy Using High-Level Video Features
European Signal Processing Conf. (EUSIPCO), Seiten: 1591-1595, Nice, France, Aug. 2015
2015-7
CRIS
C. Herglotz, A. Hendricks, M. Reichenbach, J. Seiler, D. Fey, A. Kaup
   [bib]

Estimation of Non-Functional Properties for Embedded Hardware with Application to Image Processing
22nd Reconfigurable Architectures Workshop (RAW) on the 29th Annual International Parallel & Distributed Processing Symposium (IPDPS), Seiten: 190-195, Hyderabad, India, Mai 2015
2015-3
CRIS
C. Herglotz, E. Walencik, A. Kaup
   [bib]

Estimating the HEVC Decoding Energy Using the Decoder Processing Time
IEEE Int. Symp. on Circuits and Systems (ISCAS), Seiten: 513-516, Lisbon, Portugal, Mai 2015
2014-29
CRIS
C. Herglotz, D. Springer, A. Kaup
   [bib]

Modeling the Energy Consumption of HEVC P- and B-Frame Decoding
IEEE Int. Conf. on Image Processing (ICIP), Seiten: 3661-3665, Paris, France, Okt. 2014
2014-16
CRIS
S. Berschneider, C. Herglotz, M. Reichenbach, D. Fey, A. Kaup
   [bib]

Estimating Video Decoding Energies And Processing Times Utilizing Virtual Hardware
Proc. 3PMCES Workshop. Design, Automation & Test in Europe (DATE), Seiten: 1-2, Dresden, Germany, Mär. 2014
2013-40
CRIS
C. Herglotz, D. Springer, A. Eichenseer, A. Kaup
   [bib]

Modeling the Energy Consumption of HEVC Intra Decoding
IEEE International Conference on Systems, Signals and Image Processing (IWSSIP 2013), Seiten: 91-94, Bucharest, Romania, Jul. 2013