Migración del modelo de portafolio de la unidad de negocio de soluciones de pago a un entorno de Big Data para la gestión de la cartera morosa en una entidad financiera

Abstract

Propone la migración del Modelo de Portafolio de la unidad de negocio de Soluciones de Pago desde una plataforma tradicional como Oracle hacia una plataforma Big Data para la gestión de la cartera morosa de una entidad financiera. La implementación propuesta utiliza una metodología propia del squad SDP que está dividido en 4 etapas que son el análisis, diseño, implementación y despliegue. Cada una de estas etapas interactúa con distintos roles como arquitectos de datos, seguridad de información, analistas de negocio, modelador de datos y gobierno de datos. A nivel de herramientas utiliza Oracle para crear las tablas de paso en el esquema SDS, DataStage para crear flujos de integración en donde se migren los datos desde Oracle hacia la capa DDV del Data Lake en formato avro, PySpark para crear los procesos que incluyen lógica de negocio y aprovechar todos los recursos de la plataforma Big Data, IBM Infosphere Information Governance Catalog para registrar todo el linaje de datos y mantener un gobierno de datos ordenado, Bitbucket para tener versionado los cambios que se van realizando en el proyecto y finalmente Jira y Jenkins para el flujo ágil del pase a producción. El resultado del proyecto logro implementar el primer Modelo de datos en el Data Lake para la unidad de negocio y como parte del Modelo de Portafolio se implementaron los Modelos Core como la Fact de la cartera, Fact de pagos y Fact de Gestiones por mencionar algunas, esto abre las puertas para que otros modelos del negocio migren al Data Lake en un menor tiempo posible.