Multi-view depth coding based on a region representation combining color and depth information

Abstract

Depth map data is used to supplement the color data in multi-view sequences. As depth maps present distinct Characteristics than natural color images, new coding techniques are required to represent their smooth regions and sharp edges. In this thesis, segmentation-based coding techniques are proposed to encode depth maps by exploiting the redundancy between color and depth information. Methods developed combine partitions obtained from color and depth images to find efficient representations. The color image is assumed to be available before the depth map coding process, therefore a color partition can be obtained at the decoder without introducing coding cost. Two hierarchical image segmentation algorithms are proposed to generate color and depth partitions for coding applications. The color segmentation obtains a super-pixel representation using color information, spatial distribution and shape complexity. The depth segmentation uses a 3D planar model for each region to extract the structure of the scene. Color and depth partitions are combined in depth map coding methods to find the final coding partition. Different methods for texture representation have been explored in this thesis. Initial approaches used 2D coding methods, while a 3D representation have been proposed to represent depth maps from multiple views with a unique segmentation. This 3D representation is used to segment depth maps in single-view and multi-view configurations. Final coding partitions are obtained with a rate-distortion optimization over a hierarchy of regions. Segmentation-based coding techniques proposed obtain competitive results with HEVC coding standards.

Els mapes de profunditat s'utilitzen per complementar les imatges en color en seqüències de múltiples vistes. Com els mapes de profunditat presenten característiques diferents de les imatges de color natural, es requereixen noves tècniques de codificació per representar les seves característiques regions suaus separades per brusques transicions. En aquesta tesi, es proposen tècniques de codificació basades en segmentació per codificar mapes de profunditat explotant la redundància entre informació de color i profunditat. Els mètodes desenvolupats combinen particions obtingudes d'imatges de color i profunditat per trobar representacions eficients. S'assumeix que la imatge en color està disponible abans del procés de codificació de mapa de profunditat, per tant es pot obtenir una partició de color en el descodificador sense introduir cost de codificació. En primer lloc, es proposen dos algorismes jeràrquics de segmentació d'imatges per generar particions de color i profunditat per a aplicacions de codificació. La segmentació de color obté una representació en forma de superpíxeles usant informació de color, la distribució espacial de les regions i la complexitat de la forma. La segmentació de profunditat utilitza un model de pla 3D per a cada regió, extraient l'estructura de l'escena. Les particions de color i profunditat es combinen en els mètodes de codificació de mapes de profunditat, trobant la partició final de codificació. En aquesta tesi s'han explorat diferents mètodes per a la representació de la textura. Els enfocaments inicials van utilitzar mètodes de codificació 2D. Una representació en 3D s'ha proposat per representar mapes de profunditat a partir de múltiples vistes amb una única segmentació. Aquesta representació 3D s'utilitza per segmentar mapes de profunditat en configuracions de vista únicament i multi-vista. Les particions finals de codificació s'obtenen amb una optimització de "ratedistortion" sobre una jerarquia de regions. Les tècniques de codificació basades en la segmentació propostes obtenen resultats competitius amb les estàndards de codificació HEVC.