Plan de migración de activos de información para mejorar la generación de reportes y calidad de datos utilizando Spark y DAMA-DMBOK en el proceso de preevaluación crediticia de pymes

Abstract

Este trabajo de suficiencia profesional presenta a una empresa financiera que en la actualidad afronta dificultades para procesar y generar informes para la preevaluación crediticia de pymes de forma eficaz y rápida, esto debido a que la información almacenada en Oracle Data Warehouse y en un entorno de Big Data on-premise excede la capacidad de las tecnologías. Por ello, es importante optimizar los tiempos de ejecución de los procesos informáticos, así como modernizar los recursos tecnológicos de la organización. Por esta razón, el presente trabajo plantea un plan de migración de activos de información para mejorar la generación de reportes y calidad de datos a través del marco de trabajo del Big Data en el proceso de preevaluación crediticia de pymes. Para validar que la solución propuesta hace frente al problema, se realizó una comparación de tiempo de respuesta en la generación de reportes. Los resultados obtenidos destacaron una notable disminución en el tiempo requerido para llevar a cabo el proceso de preevaluación crediticia de pymes, pasando de 6 horas en un entorno Big Data local a tan solo 2 horas en el entorno Azure Cloud, lo que equivale a una reducción del tiempo de procesamiento de más del 50%. En conclusión, la migración produjo una mejora significativa en la eficiencia operativa y la velocidad de respuesta para la generación de informes.

This professional proficiency project introduces a financial company currently facing challenges in efficiently and rapidly processing and generating credit pre-evaluation reports for pymes. This is primarily due to the data stored in Oracle Data Warehouse and an on-premise Big Data environment, which exceeds the capacity of the technologies in place. Therefore, optimizing the execution times of computational processes and modernizing the organization's technological resources becomes essential. To address this issue, this project proposes an information asset migration plan to enhance report generation and data quality using the Big Data framework in the pyme credit pre-evaluation process. To validate that the proposed solution addresses the problem, a comparison of response times in report generation was conducted. The results obtained highlighted a significant decrease in the time required to carry out the pre-evaluation process for credit pre-evaluation for pymes., reducing it from 6 hours in a local Big Data environment to just 2 hours in the Azure Cloud environment. This represents a processing time reduction of over 50%. In conclusion, the migration led to a substantial improvement in operational efficiency and response speed for report generation.