Implementation of Texture Analysis/Synthesis Techniques In A Video Compression Scheme
Mise en Œuvre de Techniques d'Analyse/Synthèse de Texture dans un Schéma de Compression Vidéo
Résumé
This thesis comes within the scope of new generation video compression schemes. In particular, it aims at improving the coding efficiency for textured regions in images and videos. At low bit-rate, textures are degraded, resulting in visually annoying flat tints. The basic assumption is based on the human visual system properties, which prefer synthesized details to flat color, even if the output surface is not exactly the source texture. In this work, texture synthesis algorithms from the literature are adapted in order to fit the coding context: filling textures which are not entirely transmitted. This approach is designed to be jointly used with current and future standard compression schemes. At encoder side, texture analysis includes segmentation and characterization tools, in order to localize candidate regions for synthesis. The corresponding areas are not encoded. The decoder fills them using texture synthesis. The remaining regions in images are classically encoded. They can potentially serve as input for texture synthesis. The chosen tools are developed and adapted with an eye to ensuring the coherency of the whole scheme. Thus, a texture characterization step provides required parameters to the texture synthesizer. Two texture synthesizers, including a pixel-based and a patch-based approach, are used on different types of texture, complementing each other. A first scheme is proposed for intra frame coding. Then, a temporal method is developed. The scheme is coupled with a motion estimator in order to segment coherent regions and to interpolate rigid motions using an affine model. Inter frame adapted synthesis is therefore used for non-rigid texture regions. Assessing the quality of decoded frames by such schemes, using objective methods, is problematic. Results on bit-rate savings are presented with the assumption of similar visual quality. Thus, now subjective tests provide for now the assessment. At comparable visual quality, up to 33% bit-rate is preserved, compared to H.264/AVC, on many SD and CIF sequences.
Cette thèse s'inscrit dans le contexte des schémas de compression vidéo de nouvelles générations. Elle vise plus particulièrement à coder plus efficacement les régions texturées des images et séquences vidéo que les schémas actuels. Ces zones sont souvent dégradées lors de codage à bas débit, provoquant des aplats visuellement dérangeants. Ce travail est fondé sur les propriétés du système visuel humain, qui préfèrera une zone texturée synthétisée avec des détails, même un peu éloignée de la réalité, plutôt que des aplats. L'idée est ici d'adapter les algorithmes de synthèse de texture de la littérature, afin de reconstruire, au décodeur, des régions qui n'auront pas été intégralement transmises. L'approche est construite de manière à être utilisée conjointement avec les standards de compression actuels ou futurs. L'analyse de la séquence source, côté encodeur, utilise des outils de segmentation et de caractérisation de texture, afin de localiser les régions candidates pour la synthèse. Les régions qui ne sont pas synthétisables sont encodées classiquement par le codeur joint, elles seront décodées et serviront potentiellement d'échantillons de départ pour la synthèse des zones manquantes. L'ensemble des outils ont été développés et adaptés dans l'optique principale de proposer une chaîne cohérente. L'analyse des textures comportant des outils de segmentation et de caractérisation permettant de paramétrer les algorithmes de synthèse. Aussi la solution proposée inclut l'utilisation de deux types de synthèse : une version orientée " pixel " et l'autre orientée " patch ". Une première approche est présentée pour un codage intra image. Le schéma est ensuite couplé à une méthode d'estimation et de modélisation affine de mouvement par région, afin d'optimiser le traitement des textures rigides et de synthétiser les régions déformables. Fondé sur des outils de synthèse, le schéma est difficilement estimable à l'aide de critères objectifs. A qualité visuelle comparable, il permet, par exemple, de préserver jusqu'à 35% de débit, comparé à l'encodage de H.264/AVC, sur différentes séquences SD et CIF.
Loading...