Reconstrucción de imágenes a color utilizando muestras incompletas de nueve bandas espectrales

Abstract

En los últimos años, el uso de cámaras multiespectrales ha ido en aumento debido a su capacidad para analizar diferentes características de los materiales. Así, múltiples métodos para desarrollarlas están siendo estudiados. Un nuevo prototipo de una camara multiespectral de tipo multiespectral filter array, que utiliza nanowires como filtros, se ha desarrollado en el grupo de investigación de Nanophotonics de la universidad de Harvard. En este tipo de cámara, se sobrepone un filtro en cada uno de los píxeles del sensor para capturar una banda específica de la luz. Debido a que el prototipo está en fase de desarrollo, no cuenta con todas las funciones que una cámara multiespectral debería tener. Este trabajo se centró en desarrollar una de estas funciones, la cual es la reconstrucción de imágenes a color a partir de sus nueve bandas capturadas El desarrollo de la función de reconstrucción de color se realizó en tres etapas: preprocesamiento, adquisición del modelo y posprocesamiento. Para la adquisición del modelo se usaron los métodos de support vector machine (SVM), k-nearest neighbor (kNN) y regresión multivariable. Así mismo en el proceso de reconstrucción se introdujo el uso de imágenes de alto rango dinámico (HDR, proveniente de high dynamic range). El algoritmo utiliza imágenes de muestra del verificador de color Macbeth y de objetos reales o naturales. Fue verificado utilizando pruebas cuantitativas con error cuadrático medio y diferencia estructural, así como pruebas cualitativas con una prueba de percepción visual. Los resultados obtenidos muestran que el mejor método para obtener el modelo de color es la regresión no lineal de tercer orden. Así mismo, el uso de imágenes HDR en la reconstrucción de color mejora en 29.3 por ciento los resultados cuantitativos en la métrica de error cuadrático medio. Por último, se demostró que con el algoritmo propuesto se puede obtener una imagen a color a partir de una multiespectral de nueve bandas.

In recent years, the use of multispectral cameras has been increasing due to their ability to analyze different materials’ characteristics. Thus, multiple methods to develop them are being studied. A new prototype of a multispectral filter array type multispectral camera, which uses nanowires as filters, has been developed at the Nanophotonics research group at Harvard University. In this type of camera, a filter is superimposed on each of the sensor’s pixels to capture a specific band of light. Since the prototype is under development, it does not have all the functions that a multispectral camera should have. This work is focused on developing one of these functions, which is the reconstruction of color images from its nine captured bands. The development of the color reconstruction function will be carried out in three stages: pre-processing, model acquisition, and post-processing. For the model’s acquisition, the methods of support vector machine (SVM), k-nearest neighbor (k-NN), linear and multivariate nonlinear regression were used. Likewise, in the reconstruction process, high dynamic range (HDR) images were introduced. The results obtained show that the best method to obtain the color model is third-order nonlinear regression. On the other hand, it is essential to note that the k-NN and SVM methods showed better results in a mean squared error (MSE), but not in structural similarity because the color reconstruction in these methods is limited to the 24 colors that are featured in Macbeth’s grid. Finally, the use of HDR in color reconstruction improves the quantitative results in the MSE metric by 29.3 percent.