Subtitulado automático de imágenes una aplicación de DEEP LEARNING

Abstract

El subtitulado autónomo de imágenes (Image captioning) requiere aplicar las áreas de visión artificial y procesamiento de lenguaje, el tema ha sido abordado por diferentes investigadores en el mundo, sin embargo la mayor parte de ellos son realizados en inglés, debido principalmente a que las bases de datos y las publicaciones se realizan en este idioma, no por ello debe dejarse al mundo hispanoparlante sin participación en este avance computacional. Se han realizado pocos estudios que aborden el subtitulado entre idiomas, siendo los mas recurrentes entre el chino e inglés, sin embargo los antecedentes para el español son prácticamente nulos. En la presente tesis se aborda la investigación e implementación de un algoritmo basado en Deep Learning, utilizando CNNs y RNNs el cuál sea capaz de generar descripciones de las imágenes que le sean alimentadas. Para conquistar el objetivo de esta tesis se propone la utilización de transferencia de aprendizaje en la extracción de características, aplicación de codificador y decodificador para el modelado de lenguaje y mecanismo de atención que permite localizar elementos resaltantes de las imágenes. Como base de datos se utiliza MSCOCO de Microsoft. Las oraciones resultantes se evalúan con BLEU y METEOR, el rendimiento del algoritmo se evalúa de acuerdo a su score en diferentes configuraciones variando EPOCHs, BATCHs y tamaño de dataset, a su vez se construyó una interfaz de usuario que permite realizar predicciones individuales de imágenes elegidas por el usuario.