Desarrollo de visor de realidad aumentada en base a un conversor multiling?e de voz a texto para personas con discapacidad auditiva

Abstract

En el presente proyecto de tesis se desarrolla un visor de realidad aumentada para personas con discapacidad auditiva que es capaz de convertir la voz en texto digital para poder ser le?do por el usuario que est? utilizando el dispositivo mencionado. Con el fin que perturbaciones ajenas al rango de frecuencias de la voz humana no interfieran con el proceso, se implement? y utiliz? un filtro digital pasa-banda el?ptico. Luego, el proceso de conversi?n de voz a texto se da por medio de los servicios de inteligencia artificial en la nube IBM Watson Speech to text. As? como tambi?n, el reconocimiento de voz en los idiomas ingl?s, portugu?s y franc?s para su traducci?n al espa?ol posteriormente mediante el servicio IBM Watson Language Translator. La integraci?n del filtro y servicios de nube se realizaron en la plataforma Node-Red desplegada en el Raspberry Pi 3B. El texto procesado se envi? por comunicaci?n serial al Arduino donde se implement? un c?digo para la proyecci?n del texto en una pantalla OLED. De esta manera, se permite a la persona con discapacidad auditiva poder leer el texto gracias al sistema ?ptico hace posible ver el texto por un reflector, con el fin de no obstaculizar la l?nea de visi?n entre el usuario del visor y el emisor del mensaje hablado. Finalmente, en los resultados se hicieron pruebas con las frases m?s comunes para cada idioma, se definieron f?rmulas para el c?lculo del porcentaje de detecci?n con el fin de cuantificar el ?xito del reconocimiento de palabras en los diferentes idiomas. De los cuatro idiomas configurados, las pruebas realizadas para el idioma franc?s tuvieron el mejor porcentaje de detecci?n siendo del 100%, mientras en los dem?s idiomas en promedio superaron el 60%. De la misma manera, se obtuvieron pruebas exitosas respecto a la detecci?n de palabras con perturbaci?n ya que los porcentajes obtenidos para la detecci?n con o sin perturbaci?n llegaron a tener la misma cantidad porcentual.