Traducción de Señas (LSP) a Texto (español) en Tiempo Real con Redes Neuronales Profundas

Abstract

El reconocimiento de señas ha encontrado en las redes neuronales convolucionales (“CNN”) una alternativa que ha permitido avances para afrontar este problema de visión artificial. Sin embargo, son cada vez más las redes profundas de las cuales se dispone, y las redes neuronales recurrentes (“RNN”), en particular, se han convertido en un medio para dar soluciones a problemas que involucran datos secuenciales. Se propone con esta investigación el desarrollo de un sistema de traducción de señas de LSP a español apoyado en RNN que posibilitan trabajar con señas no estáticas (como data secuencial), el gran reto por cumplir por parte de las CNN. El modelo de aprendizaje profundo presentado se enfoca en la detección de acciones, en este caso, la ejecución de las señas, procesando el contexto entre los cuadros que componen videos de las señas. La propuesta es una solución holística que considera, adicional a las manos, los componentes de postura corporal y cara, entendiendo que, al comunicarnos por lenguas de señas, importan características visuales más allá de los gestos con las manos. Se espera el impulso del estado del arte para traducción LSP-español en vista de que se amplían considerablemente las posibilidades de señas traducibles con aprendizaje profundo; para un conjunto de datos de entrenamiento de 300 videos (de 30 cuadros cada uno) para 3 clases (señas distintas) posibles, se alcanzó una precisión de 98.8%, haciendo de este un valioso sistema base para conseguir una comunicación efectiva entre usuarios de LSP e hispanohablantes.