Title: Diseño e implementación de un Data Lake para la disponibilidad de una fuente confiable de datos en una empresa de microfinanzas
OCDE field: https://purl.org/pe-repo/ocde/ford#1.02.01; https://purl.org/pe-repo/ocde/ford#1.02.02
Issue Date: 2023
Institution: Universidad Nacional Mayor de San Marcos
Abstract: Aborda sobre el diseño e implementación de un Data Lake, en una entidad
del rubro de microfinanzas, a fin de disponer de una fuente de datos confiable para la
obtención de conocimiento de negocio mediante la aplicación de modelos analíticos. La
implementación se realiza en la nube pública de Microsoft Azure. Se emplean recursos como
Azure Databricks, Data Factory, Data Lake Storage Gen2 para el frente de infraestructura. La
lógica de procesamiento se desarrolla en el lenguaje Scala sobre el framework de Apache Spark.
Así mismo, el Unity Catalog de Databricks para la gestión de metadatos y control de acceso.
Como resultado, se obtiene un Data Lake conformado por cuatro capas: LandingLayer,
IngestionLayer, ProcessLayer y FunctionLayer. En cada una de las capas se realiza un
tratamiento específico, de manera secuencial, a la data. Cara al usuario final se dispone de un
modelo de datos, cuya estructura responde a definiciones de gobierno, al cual pueden acceder
mediante los sandbox. En conclusión, se diseña e implementa un Data Lake provisto de
funcionalidades que responden a las necesidades del negocio. El tiempo y esfuerzo de
construcción de workflows de ingesta y procesamiento de datos son de bajo costo. Realizar la
exploración y trazabilidad de los datos es amigable cara al usuario final.
Discipline: Computación Científica
Grade or title grantor: Universidad Nacional Mayor de San Marcos. Facultad de Ciencias Matemáticas. Escuela Profesional de Computación Científica
Grade or title: Licenciado en Computación Científica
Juror: Alvarez Huertas, Frank Duberlee; Zorrilla Masias, Henry
Register date: 23-Jan-2024