Reconocimiento de la lengua de signos mediante deep learning

Abstract

El objetivo de este Trabajo Final de Grado es la interpretación del alfabeto de la Lengua de Signos Española mediante técnicas de deep learning apoyándose en un robot Pepper empleado como intérprete. Para el seguimiento de los brazos y manos involucrados en el signado de los diferentes gestos se emplea Openpose, un sistema de detección de cuerpo, cara, pies y manos en tiempo real. Los resultados obtenidos por Openpose son introducidos en una Red Neuronal Artificial donde se produce el reconocimiento. En este trabajo se han estudiado y analizado distintas arquitecturas con el fin de encontrar la más adecuada para un correcto reconocimiento de signos. En cuanto a la comunicación con el robot Pepper, que sirve como intérprete humanoide, se hace uso de ROS y del protocolo STFP para establecer la recepción y el envío de imágenes. Adicionalmente se abarca la creación completa de un dataset del alfabeto de la Lengua de Signos Española utilizando la conexión mediante ROS con el robot Pepper y la herramienta Openpose para la extracción de los puntos necesarios en manos y brazos.