Scalable Predictive Coding of Animated 3D Meshes

摘要

Dreidimensionale (3D) Animationen, die zur Übertragung über Netzwerke wie das Internet Verwendung rinden, werden oft durch eine Abfolge von statischen 3D-Netzen mit identischer Konnektivität dargestellt. Solch eine Sequenz von Netzen wird üblicherweise als ein animiertes 3D-Netz bezeichnet. Aufgrund der framebasierten Darstellung benötigen unkomprimierte animierte 3D-Netze sehr viel Speicherplatz oder Übertragungsbandbreite. Oft können animierte Netze in große Bereiche unterteilt werden (z.B. Arme und Beine), die eine starke Kohärenz aufweisen. Viele kürzlich vorgestellte Codierverfahren, wie der Skinning-basierte Coder (SKC), machen sich diese Eigenschaft zu nutze, um eine hohe Codiereffizienz zu erreichen. Aufgrund seiner hohen Codiereffizienz, wurde SKC in den MPEG-4 Standard zur Codierung framebasierter 3D-Netzsequenzen (MPEG-4 FAMC) aufgenommen. Aus diesem Grund wird in dieser Arbeit SKC als Referenzverfahren verwendet.Obwohl SKC eine effiziente Codierung ermöglicht, weist es wesentliche Nachteile auf. Erstens besitzt es eine hohe Encoder-Komplexität aufgrund der Verwendung einer rechenintensiven Methode zur Bereichsunterteilung. Zweitens eine hohe Codiereffizienz sowie eine effiziente Verwendbarkeit des Codierverfahrens für Streaming-Anwendungen können nicht gleichzeitig gewährleistet werden, da ersteres nur dann erreicht werden kann, wenn eine diskrete Kosinustransformation entlang großer Gruppen von Frames in zeitlicher Richtung angewandt wird. Schließlich wird eine Skalierung des vom Verfahren generierten Bitstroms nur teilweise unterstützt.Im Rahmen dieser Arbeit wurde ein skalierbarer prädiktiver Coder (SPC) entwickelt, der eine hohe Codiereffizienz erreicht, anwendbar ist für Streaming-Anwendungen, räumliche und zeitliche Skalierung unterstützt und nur eine lineare Laufzeitkomplexität hat. SPC macht sich eine lokale Eigenschaft zu nutze, die in vielen animierten Netzten vorhanden ist. Animierte Netze können oft in kleine Flächenstücke unterteilt werden, die hauptsächlich eine translatorische oder rotatorische Bewegung beschreiben. Rotationsinvariante Koordinaten und lineare prädiktive Codierung werden in dem Kontext einer räumlichen und zeitlichen Hierarchie verwendet, um eine hohe Codiereffizient zu erreichen und gleichzeitig eine Skalierung des Bitstroms zu unterstützen. Des Weiteren, wird im Rahmen dieser Arbeit ein analytischer Ausdruck hergeleitet, der es erlaubt eine dichte untere Grenze für die Bitrate von SPC zu bestimmen. Dieser Ausdruck wird verwendet, um den Einfluss der Encoder-Einstellungen und der rotations-invarianten Koordinaten auf die Codiereffizient zu bewerten. Im Vergleich zum Referenzverfahren SKC und dem MPEG-4 FAMC Standard erreicht SPC eine Datenreduktion um mehr als 11 % bei subjektiv verlustloser Qualität und um mehr als 8% bei subjektiv angenehmer Qualität.Aufgrund seiner effizienten Unterstützung der Bitstrom-Skalierung, wurden Teile von SPC in der Endversion des MPEG-4 FAMC Standards aufgenommen.%Three-dimensional (3D) animations, which are used for distribution over Communications networks, like the Internet, are usually represented by a sequence of static 3D meshes with identical Connectivity. Such a mesh sequence is often referred to as an animated 3D mesh. Due to the frame-based representation, uncompressed animated 3D meshes occupy a lot of storage space or transmission bandwidth. Animated 3D meshes, which represent artic-ulated objects, can be decomposed into large patches (e.g. arms and legs), which show strong spatial and temporal coherence. Many recently presented coding methods, like the so called Skinning-based Coder (SKC), exploit this property for efficient compression. Due to its high coding efficiency, SKC was recently adopted as part of the MPEG-4 Standard for frame-based animated mesh compression (MPEG-4 FAMC). Therefore, it is used as a reference method in this thesis.Although the reference method enables an efficient compression, it has significant drawbacks. First, it has a high encoder complexity due to a computationally demand-ing patch decomposition method used. Second, an applicability of SKC for Streaming and a high coding efficiency can not be simultaneously supported, since a high coding efficiency can be only achieved if a discrete cosine transformation is applied in temporal direction along large groups of frames. Finally, bit stream scalability, which is a highly desirable functionality in Streaming applications, is only partly supported.In this work, a Scalable Predictive Coder (SPC) was developed, which achieves a high coding efficiency, is applicable for Streaming, Supports spatial and temporal scalability, and has only a linear time complexity. SPC exploits a local property which is present in many animated meshes. Animated meshes can be often decomposed into small surface patches which mainly describe translational and/or rotational motion. Rotation-invariant coordinates and linear predictive coding are employed in the context of a spatial and temporal hierarchy to achieve a high coding efficiency and support scalability. Furthermore, in this work, an analytical expression is derived for a tight lower bound on the SPC bit rate. It is used to evaluate the influence of encoder settings and rotation-invariant coordinates on the coding efficiency. In comparison to the reference method SKC and the MPEG4-FAMC Standard, the developed coder SPC achieves coding gains of over 11% at subjectively lossless quality and of over 8% at subjectively pleasant quality.Due to its efficient support of scalability, parts of SPC were adopted in the final MPEG-4 FAMC Standard.