Entrenando una red neuronal Mask R-CNN con imágenes sintéticas para la detección y segmentación de objetos en imágenes reales de maquinaria

Abstract

En los últimos años, las redes neuronales convolucionales se han utilizado ampliamente para resolver problemas como la clasificación de imágenes, la detección de objetos y la segmentación de objetos. Sin embargo, estas redes neuronales requieren de una gran cantidad de datos correctamente etiquetados para funcionar adecuadamente. Por este motivo, los procesos de etiquetado de datos se llevan a cabo reclutando personas que etiquetarán los datos manualmente. Esto es un problema, ya que consume mucho tiempo y dinero, por lo que algunos investigadores han estudiado el uso de sistemas que generan datos sintéticos y a la vez, los etiquetan. Dada esta problemática, en el presente trabajo se plantea un sistema para generar datos sintéticos mediante un renderizador, que utiliza fondos aleatorios (imágenes) y 3 modelos 3D de piezas de maquinaria. Luego, dichos datos sintéticos son etiquetados por nuestro sistema, para las tareas de detección y segmentación de objetos. Adicionalmente, aplicamos un filtro de Gaussian Blur a nuestras imágenes sintéticas para que den mejores resultados en el entrenamiento posterior. Después, nuestro sistema entrena una red neuronal Mask R-CNN (pre-entrenada con el conjunto de datos COCO) con los datos sintéticos con Gaussian Blur generados y etiquetados anteriormente. Finalmente, nuestro sistema realiza pruebas de la red neuronal con datos reales (fotografías de las 3 piezas de maquinaria en el mundo real), donde se consiguen resultados óptimos.