Reconstrucción 3d de la mano mediante imágenes rgb

Abstract

Poder conocer en tiempo real la posición y forma de la mano facilitaría una gran cantidad de aplicaciones: realidad virtual, realidad aumentada o la interacción persona-computador, entre otras. El presente trabajo versa sobre la reconstrucción de la pose 3D de la mano a partir de imágenes RGB, donde se ha tratado de explorar un procedimiento mediante el cual estimar los ángulos de rotación de las articulaciones de la mano, utilizando un autoencoder del cual extraemos el codificador y un perceptrón multicapa que prediga las rotaciones a partir de las imágenes codificadas. Además, y de manera paralela, se ha creado un método de generación sintética de datos (imágenes de un modelo de mano genérico) para dicha problemática, se averiguó si todos los vectores codificados al decodificarse, generaban una mano y se exploró una alternativa al autoencoder utilizando unas redes adversarias generativas (GAN), para encontrar una representación codificada del espacio latente de las configuraciones de la mano.

Being able to regress the pose and shape of the hand would enhance many applications e.g., virtual reality, augmented reality, human-computer interactions, etc. In this final degree project, we explore a solution to estimate the hand joints rotation angles. The proposed pipeline first encodes the input image using an autoencoder and then feeds it to a multilayer perceptron which estimates the rotation angles. Furthermore, we present a method for synthetic data creation (hand images from a generic hand model), also we used linear interpolation to figure out if all codified vectors represent a valid hand image and we explore an alternative to convolutional autoencoder through a Generative Adversarial Network (GAN) to find a latent space’s codified representation of hand configurations.