Estudio comparativo de modelos de redes neuronales para la clasificación de señas dinámicas en la lengua de señas peruana

Abstract

La Lengua de Señas (LS) es crucial para la comunicación de personas con discapacidad auditiva, dividiéndose ésta en señas estáticas, que incluyen letras y números; y señas dinámicas, que abarcan representaciones simples, compuestas o frases cortas. No existe una lengua de signos universal debido a la variación de la LS según el país y región. En Perú, según (INEI, 2017), solo 10,447 personas (0.039% de la población) tienen la Lengua de Señas Peruana (LSP) como lengua materna. Esto implica una notable escasez de intérpretes especializados, planteando un desafío significativo para la comunicación efectiva de las personas con discapacidad auditiva. Actualmente, se proponen soluciones innovadoras para reducir la brecha comunicativa, como el desarrollo de sistemas inteligentes que actúen como intérpretes de la lengua de señas. Algunas de estas propuestas incluyen el reconocimiento de señas estáticas mediante procesamiento de imágenes y visión artificial, así como el uso de guantes con sensores para el reconocimiento de señas estáticas y dinámicas, combinando datos de sensores, procesamiento de imágenes y técnicas de Machine Learning. Aunque efectivas, estas soluciones no son prácticas para el uso diario, ya que reducen el confort y la agilidad comunicativa. Para mayor practicidad, el reconocimiento de señas dinámicas mediante técnicas de visión artificial se destaca como una opción viable. La tesis propone un estudio comparativo de dos modelos de redes neuronales para reconocer señas dinámicas de la LSP, utilizando redes neuronales convolucionales (CNN) para la extracción de características además de redes neuronales recurrentes y basadas en atención para el análisis temporal de las secuencias. Esta propuesta busca mejorar la calidad de vida de las personas con discapacidad auditiva mediante una metodología dinámica. El trabajo se compone de la siguiente manera: En el capítulo 1, se hace un repaso de los trabajos publicados relacionados y las ecuaciones que describen los algoritmos y mecánicas utilizadas para el desarrollo de la presente tesis; en el capítulo 2, se presenta la metodología utilizada para la implementación de los modelos de análisis; en el capítulo 3, se hace la implementación de los modelos y se detallan las consideraciones que se han tenido en cuenta, además, se presentan los experimentos realizados, sus respectivos resultados y un breve análisis de lo obtenido, finalmente, en el capítulo 4, se hace una discusión de los resultados obtenidos. Se concluye que partir de los resultados evidenciados de los modelos de análisis de la presente tesis, es posible afirmar que estas arquitecturas son capaces de ser entrenados y reconocer exitosamente cualquier otro conjunto de señas.