Robótica asistencial en lengua de signos

Abstract

El objetivo de este Trabajo Final de Máster es la interpretación de sentencias de la Lengua de Signos Española relativas a tareas diarias mediante técnicas de deep learning con el fin de implementar un intérprete automático. Para el seguimiento de los brazos y manos involucrados en el signado de los diferentes gestos se emplea Openpose, un sistema de detección de cuerpo, cara, pies y manos en tiempo real. Usando una cámara Azure Kinect como herramienta para la captura de imágenes. Los resultados obtenidos por Openpose son introducidos en una Red Neuronal Artificial donde se produce el reconocimiento. En este trabajo se han estudiado, analizado y comparado distintas arquitecturas con el fin de encontrar la más adecuada para un correcto reconocimiento de signos. Adicionalmente se abarca la creación de un dataset de las diversas palabras de la Lengua de Signos Española necesarias para la creación de dichas frases. Empleando para ello la cámara Azure Kinect y la herramienta Openpose para la extracción de los puntos necesarios en manos y brazos.